Comment simuler une chaîne de Markov et observer son état stable en Python ? | MetMat

Comment simuler une chaîne de Markov et observer son état stable en Python ?

En itérant sur numpy.random.choice(range(r), p=M[etat_courant]) et en observant la convergence vers l'état stable

Approfondissement — Simuler la trajectoire aléatoire d'une chaîne de Markov sur un graphe fini et estimer empiriquement sa loi stationnaire.

Hors programme — Cette méthode va au-delà du B.O. officiel. Proposée pour aller plus loin.

Que ferais-tu face à un exercice de ce type ?

Météo simple : trois états $\{S, N, P\}$ (Soleil, Nuageux, Pluie) avec matrice de transition $M = \begin{pmatrix} 0{,}7 & 0{,}2 & 0{,}1 \\ 0{,}3 & 0{,}4 & 0{,}3 \\ 0{,}2 & 0{,}3 & 0{,}5 \end{pmatrix}$ . Estimer la loi stationnaire par simulation sur $N = 10\,000$ jours.

L'objectif

Approfondissement — Simuler la trajectoire aléatoire d'une chaîne de Markov sur un graphe fini et estimer empiriquement sa loi stationnaire.

Le principe

Si $M$ est la matrice de transition (ligne $i$ = loi conditionnelle sachant l'état $i$ ), alors numpy.random.choice(range(r), p=M[i]) tire l'état suivant avec la bonne probabilité ; pour une chaîne irréductible apériodique, la fréquence empirique des états converge vers l'unique état stable $\pi$ vérifiant $\pi M = \pi$ .

La méthode

1
Je code la matrice de transition $M$ en tableau numpy de taille $r \times r$ , en vérifiant que chaque ligne somme à $1$ .
2
Je fixe l'état initial etat = i0 et le nombre N d'itérations, puis j'initialise un tableau trajectoire de taille N+1.
3
Pour n de 0 à N-1, je tire l'état suivant par etat = numpy.random.choice(range(r), p=M[etat]), que je stocke dans la trajectoire.
4
J'estime la loi stationnaire par fréquences : freq[k] = (trajectoire == k).mean(), et je compare au vecteur propre à gauche $\pi$ associé à la valeur propre $1$ de $M$ .

Pour comprendre, fais des exercices !

0/5 validés

Exercice d'exemple

Étape 1 —

Je code la matrice de transition

M

en tableau numpy de taille

r \times r

, en vérifiant que chaque ligne somme à

1

Je code la matrice :

import numpy as np
M = np.array([[0.7, 0.2, 0.1],
              [0.3, 0.4, 0.3],
              [0.2, 0.3, 0.5]])
assert np.allclose(M.sum(axis=1), 1)

Étape 2 —

Je fixe l'état initial etat = i0 et le nombre N d'itérations, puis j'initialise un tableau trajectoire de taille N+1.

Je fixe l'état initial et la longueur :

N = 10_000
etat = 0  # on part de Soleil
traj = np.zeros(N+1, dtype=int)
traj[0] = etat

Étape 3 —

Pour n de 0 à N-1, je tire l'état suivant par etat = numpy.random.choice(range(r), p=M[etat]), que je stocke dans la trajectoire.

Je simule la chaîne :

for n in range(N):
    etat = np.random.choice(3, p=M[etat])
    traj[n+1] = etat

Étape 4 —

J'estime la loi stationnaire par fréquences : freq[k] = (trajectoire == k).mean(), et je compare au vecteur propre à gauche

\pi

associé à la valeur propre

1

M

Je calcule les fréquences empiriques :

freq = np.array([(traj == k).mean() for k in range(3)])
print(freq)  # ex: [0.45, 0.27, 0.28]

Les fréquences sont proches de l'état stable théorique $\pi \approx (0{,}45\,;\, 0{,}28\,;\, 0{,}27)$ .

L'état stable empirique vaut environ $(0{,}45\,;\, 0{,}28\,;\, 0{,}27)$ , en accord avec le calcul théorique de $\pi$ tel que $\pi M = \pi$ .

Application guidée

Modèle de mobilité sociale à deux classes (A et B) : $M = \begin{pmatrix} 0{,}9 & 0{,}1 \\ 0{,}3 & 0{,}7 \end{pmatrix}$ . Estimer la proportion stationnaire d'individus en classe A.

Application autonome 1

Mini PageRank sur trois pages avec $M = \begin{pmatrix} 0 & 1/2 & 1/2 \\ 1/3 & 1/3 & 1/3 \\ 1/2 & 1/2 & 0 \end{pmatrix}$ . Estimer le score de chaque page.

Application autonome 2

Chaîne de Markov à deux états $\{0, 1\}$ de matrice $M = \begin{pmatrix} 0{,}8 & 0{,}2 \\ 0{,}4 & 0{,}6 \end{pmatrix}$ . Estimer la loi stationnaire en Python par simulation sur $N = 10\,000$ étapes.

Application autonome 3

Chaîne de Markov à trois états $\{1, 2, 3\}$ de matrice $M = \begin{pmatrix} 0{,}1 & 0{,}6 & 0{,}3 \\ 0{,}4 & 0{,}2 & 0{,}4 \\ 0{,}5 & 0{,}3 & 0{,}2 \end{pmatrix}$ . Estimer en Python la proportion de temps dans chaque état sur $N = 20\,000$ étapes.

Crée ton compte pour accéder à la fiche et aux exercices