Chaînes de Markov (graphes probabilistes)

Comment construire la matrice de transition $M$ d'un graphe probabiliste ?

Lecture d'un graphe probabiliste pour en déduire la matrice de transition associée à la chaîne de Markov.

Comment écrire la relation de récurrence $V_n = V_{n-1} M$ entre deux états successifs ?

Mise en place de la relation matricielle qui relie l'état $V_n$ de la chaîne à l'état précédent $V_{n-1}$.

Comment calculer $V_n$ à partir de $V_0$ et $M$ ?

Calcul explicite de l'état $V_n$ à un rang quelconque à partir de l'état initial et de la matrice de transition.

Comment déterminer un état stable $V$ tel que $V = V M$ ?

Recherche d'un état stationnaire de la chaîne de Markov, vecteur propre à gauche de $M$ associé à la valeur propre $1$.

Comment étudier la convergence en loi d'une chaîne de Markov vers son état stable ?

Analyse du comportement asymptotique de $V_n$ par diagonalisation de $M$, dans le cas d'un graphe probabiliste à deux ou trois états.

Comment simuler une chaîne de Markov en Python ?

Simulation numérique d'une trajectoire de la chaîne de Markov à l'aide de la bibliothèque NumPy.