Chaînes de Markov

icône de pdf
Signaler

Les chaînes de Markov étudiées ont 2 ou 3 états et sont définies par leur état initial et par leur matrice de transition.

I) Notions de chaînes de Markov

1) Théorème et définitions

Définition : Une chaîne de Markov (homogène) à 3 états (notés 1, 2 et 3) est définie par la loi de probabilité de son état initial donné par une matrice ligne π0 de taille 3 et par sa matrice de transition Q de format 3×3.

À noter

On définit de manière analogue une chaîne de Markov à 2 états.

Soit n un entier naturel, si Xn décrit l’état du processus après n transitions, alors π0=PX0=1  PX0=2  PX0=3 et les coefficients pij de la matrice Q sont les probabilités de transition de i vers j définies pour tout entier naturel n par : pij=PXn=iXn+1=j.

2) Graphe pondéré d’une chaîne de Markov

Définitions : Un graphe est orienté si ses arêtes, appelées arcs, sont des couples (donc orientés) de sommets (pas forcément distincts). Une boucle est un arc reliant un sommet à lui-même. Un graphe est pondéré si chacune de ses arêtes (orienté ou non) est associée à un nombre réel appelé poids.

Le graphe associé à une chaîne de Markov admet pour sommets l’ensemble de ses états (2 ou 3) et pour arcs les couples i,j pour i et j variant de 1 à 2 ou 3 pondéré par la probabilité de transition pij de i vers j.

À noter

La matrice de transition est une matrice stochastique, c’est-à-dire que sur chacune de ses lignes la somme des coefficients vaut 1.

II) État au bout de n transitions et état invariant

Théorèmes : Soit n un entier naturel et soit une chaîne de Markov de loi de probabilité de l’état initial π0 et de matrice de transition Q.

Le coefficient de la i-ième ligne et j-ième colonne de Qn est PX0=iXn=j.

La loi de probabilité de l’état du système à l’instant n est définie par :

πn=PXn=1  PXn=2  PXn=3 et on a πn=π0Qn.

Définition : Un état π est appelé invariant (stationnaire ou stable) pour une chaîne de Markov de matrice de transition Q si π=πQ.

Remarque : L’état invariant π se détermine en résolvant le système

xyz=xyzQx+y+z=1.

Méthodes

1) Décrire un processus de Markov par des matrices

Conseils

Déterminez la matrice ligne de taille 3 décrivant l’état initial puis la matrice carrée de transition d’ordre 3 dont les coefficients sont les probabilités que la souris passe d’un compartiment à un autre.

Solution

On note Xn le numéro du compartiment où se trouve la souris après n déplacement. On a tout d’abord PX0=1=1 ; PX0=2=0 et PX0=3=0, puisque la souris se trouve au départ dans C1. L’état initial est donc donné par la matrice ligne π0=100.

Ensuite, si la souris se trouve dans C1, elle emprunte une des trois ouvertures de C1 de manière équiprobable : l’une mène dans C2 et les deux autres mènent dans C3 donc PXn=1Xn+1=2=13 et PXn=1Xn+1=3=23.

On démontre de même que PXn=2Xn+1=1=12 et PXn=2Xn+1=3=12 et que PXn=3Xn+1=1=23 et PXn=3Xn+1=2=13.

La matrice de transition associée est donc Q= 01/32/31/201/21/32/30.

2) Décrire l’état d’un processus au bout de plusieurs étapes

Conseils

Les coefficients de Q10 sont les probabilités qu’a la souris de se trouver dans le compartiment j au bout de 10 déplacements sachant qu’elle était dans le compartiment i au départ.

Solution

D’après la calculatrice, le coefficient de la première ligne et de la deuxième colonne de Q10 est 0,342 arrondi au millième donc a=0,342.