Chaînes de Markov discrètes

Question 1

Qu’est-ce qu’une chaîne de Markov ?

Answer 1

C’est un processus stochastique où l’état futur dépend uniquement de l’état présent (propriété de Markov).

Question 2

Qu’est-ce que la propriété de Markov ?

Answer 2

P(X_{n+1} = x | X_n, …, X_0) = P(X_{n+1} = x | X_n)

Question 3

Qu’est-ce qu’un espace d’état ?

Answer 3

C’est l’ensemble des états possibles d’une chaîne de Markov.

Question 4

Qu’est-ce qu’une matrice de transition ?

Answer 4

C’est une matrice P où P_{ij} = P(X_{n+1} = j | X_n = i)

Question 5

Quelles sont les propriétés d’une matrice de transition ?

Answer 5

Toutes les entrées sont positives ou nulles, et la somme des lignes vaut 1.

Question 6

Qu’est-ce qu’un état accessible ?

Answer 6

Un état j est accessible depuis i s’il existe un n tel que P(X_n = j | X_0 = i) > 0.

Question 7

Qu’est-ce qu’un état récurrent ?

Answer 7

C’est un état qui sera revisité presque sûrement (la somme des probabilités de retour vaut 1).

Question 8

Qu’est-ce qu’un état transitoire ?

Answer 8

C’est un état qui peut ne jamais être revisité (la somme des probabilités de retour est < 1).

Question 9

Qu’est-ce qu’un état absorbant ?

Answer 9

Un état i tel que P_{ii} = 1 et P_{ij} = 0 pour j ≠ i.

Question 10

Qu’est-ce qu’une distribution stationnaire ?

Answer 10

C’est une distribution π telle que πP = π.