Comment étudier la convergence en loi d'une chaîne de Markov vers son état stable ? | MetMat

Comment étudier la convergence en loi d'une chaîne de Markov vers son état stable ?

En diagonalisant $M$ et en analysant les puissances $M^n$

Démontrer que $V_n$ converge vers l'état stable $V$ quand $n \\to +\\infty$ , dans le cas d'un graphe probabiliste à deux ou trois états diagonalisable.

Que ferais-tu face à un exercice de ce type ?

On reprend $M = \begin{pmatrix} 0{,}8 & 0{,}2 \\ 0{,}4 & 0{,}6 \end{pmatrix}$ . Étudier la convergence de $V_n$ pour $V_0 = (1 \\;\\; 0)$ .

L'objectif

Démontrer que $V_n$ converge vers l'état stable $V$ quand $n \\to +\\infty$ , dans le cas d'un graphe probabiliste à deux ou trois états diagonalisable.

Le principe

Si $M$ est diagonalisable avec $1$ pour valeur propre simple et toutes les autres valeurs propres $\\lambda$ vérifiant $|\\lambda| < 1$ , alors $D^n$ converge vers une matrice ne contenant qu'un seul $1$ sur la diagonale, donc $M^n = P D^n P^{-1}$ converge ; on en déduit que $V_n = V_0 M^n$ converge vers un état stable indépendant de $V_0$ .

La méthode

1
Je diagonalise $M$ et j'identifie ses valeurs propres ; l'une d'elles vaut toujours $1$ car $M$ est stochastique.
Comment diagonaliser explicitement une matrice ($D = P^{-1} A P$) ?Voir
2
Je vérifie l'hypothèse : toutes les autres valeurs propres $\\lambda$ satisfont $|\\lambda| < 1$ .
3
Je calcule $M^n = P D^n P^{-1}$ et je passe à la limite, en utilisant $\\lambda^n \\to 0$ pour $|\\lambda| < 1$ , ce qui donne $\\lim_{n \\to +\\infty} M^n$ .
Comment calculer une puissance n-ième d'une matrice diagonalisable ?Voir
4
Je conclus que $V_n = V_0 M^n$ converge vers une matrice ligne $V$ qui est l'unique état stable, et que cette limite ne dépend pas de $V_0$ .

Pour comprendre, fais des exercices !

0/5 validés

Exercice d'exemple

On reprend $M = \begin{pmatrix} 0{,}8 & 0{,}2 \\ 0{,}4 & 0{,}6 \end{pmatrix}$ . Étudier la convergence de $V_n$ pour $V_0 = (1 \\;\\; 0)$ .

Étape 1 —

Je diagonalise

M

et j'identifie ses valeurs propres ; l'une d'elles vaut toujours

1

car

M

est stochastique.

Les valeurs propres de $M$ sont $1$ et $0{,}4$ et $M$ est diagonalisable : $M = P \\, \\mathrm{diag}(1; 0{,}4) \\, P^{-1}$ .

Étape 2 —

Je vérifie l'hypothèse : toutes les autres valeurs propres

\\lambda

satisfont

|\\lambda| < 1

La seconde valeur propre vérifie $|0{,}4| < 1$ , l'hypothèse est satisfaite.

Étape 3 —

Je calcule

M^n = P D^n P^{-1}

et je passe à la limite, en utilisant

\\lambda^n \\to 0

pour

|\\lambda| < 1

, ce qui donne

\\lim_{n \\to +\\infty} M^n

Comme $0{,}4^n \\to 0$ , $M^n \\to \\tfrac{1}{3} \\begin{pmatrix} 2 & 1 \\\\ 2 & 1 \\end{pmatrix}$ quand $n \\to +\\infty$ .

Étape 4 —

Je conclus que

V_n = V_0 M^n

converge vers une matrice ligne

V

qui est l'unique état stable, et que cette limite ne dépend pas de

V_0

Donc $V_n = V_0 M^n \\to (1 \\;\\; 0) \\cdot \\tfrac{1}{3} \\begin{pmatrix} 2 & 1 \\\\ 2 & 1 \\end{pmatrix} = \\left( \\tfrac{2}{3} \\;\\; \\tfrac{1}{3} \\right)$ , qui est bien l'état stable trouvé précédemment.

$V_n \\to \\left( \\dfrac{2}{3} \\;\\; \\dfrac{1}{3} \\right)$

Application guidée

Avec la même matrice $M = \begin{pmatrix} 0{,}8 & 0{,}2 \\ 0{,}4 & 0{,}6 \end{pmatrix}$ , montrer que la limite ne dépend pas de $V_0 = (a \\;\\; 1-a)$ .

Application autonome 1

Soit $M = \begin{pmatrix} 0 & 1 \\ 1 & 0 \end{pmatrix}$ avec $V_0 = (1 \\;\\; 0)$ . Étudier la convergence de $V_n$ .

Application autonome 2

Soit $M = \begin{pmatrix} 0{,}9 & 0{,}1 \\ 0{,}3 & 0{,}7 \end{pmatrix}$ . Étudier la convergence de $V_n$ pour $V_0 = (a\;\;1 - a)$ quelconque.

Application autonome 3

Soit $M = \begin{pmatrix} \tfrac{1}{3} & \tfrac{2}{3} \\ \tfrac{1}{2} & \tfrac{1}{2} \end{pmatrix}$ . Étudier la convergence de $V_n$ pour $V_0 = (1\;\;0)$ .

Crée ton compte pour accéder à la fiche et aux exercices

En diagonalisant MMM et en analysant les puissances MnM^nMn

Pour comprendre, fais des exercices !

En diagonalisant $M$ et en analysant les puissances $M^n$