Chaînes de Markov (graphes probabilistes)
Étude des graphes probabilistes et des chaînes de Markov associées : matrice de transition, relation de récurrence $V_n = V_{n-1} M$, calcul de $V_n$, état stable et convergence en loi. Tous les résultats sont admis au programme.
Choisissez une approche :
Comment construire la matrice de transition d'un graphe probabiliste ?
Lecture d'un graphe probabiliste pour en déduire la matrice de transition associée à la chaîne de Markov.
Comment écrire la relation de récurrence entre deux états successifs ?
Mise en place de la relation matricielle qui relie l'état $V_n$ de la chaîne à l'état précédent $V_{n-1}$.
Comment calculer à partir de et ?
Calcul explicite de l'état $V_n$ à un rang quelconque à partir de l'état initial et de la matrice de transition.
Comment déterminer un état stable tel que ?
Recherche d'un état stationnaire de la chaîne de Markov, vecteur propre à gauche de $M$ associé à la valeur propre $1$.
Comment étudier la convergence en loi d'une chaîne de Markov vers son état stable ?
Analyse du comportement asymptotique de $V_n$ par diagonalisation de $M$, dans le cas d'un graphe probabiliste à deux ou trois états.
Comment simuler une chaîne de Markov en Python ?
Simulation numérique d'une trajectoire de la chaîne de Markov à l'aide de la bibliothèque NumPy.