Processus aléatoires Thomas Budzinski ENS Paris, 2016-2017 Bureau V2 thomas.bud

Processus aléatoires Thomas Budzinski ENS Paris, 2016-2017 Bureau V2 thomas.budzinski@ens.fr TD 9 : Chaînes de Markov Corrigé Lundi 28 Novembre Exercice 1 (Vrai ou faux) Soit (Sn) une marche aléatoire simple sur Z. Lesquels des processus suivants sont des chaînes de Markov sur Z ? Pour ceux qui le sont, donner la matrice de transition. 1. A = (Sn)n≥0, 2. B = (Sn + n)n≥0, 3. C = Sn + n2 n≥0, 4. D = (Sn + 10n)n≥0, 5. E = (Sn + (−1)n)n≥0, 6. F = (|Sn|)n≥0, 7. G = S2 n −n  n≥0, 8. H = (S2n)n≥0. Solution de l’exercice 1 1. Oui. La matrice de transition est Q(x, y) = 1 2 si |x −y| = 1 et 0 sinon. 2. Oui. La matrice de transition est Q(x, y) = 1 2 si y = x ou y = x + 2, et 0 sinon. 3. Non. Si C était une chaîne de Markov de matrice de transition Q, on aurait d’une part P (C0 = 0, C1 = 0) = Q(0, 0) soit Q(0, 0) = P (S1 = −1) = 1 2, et d’autre part P (C0 = 0, C1 = 0, C2 = 0) = Q(0, 0)2, mais C2 ≥−2+22 = 2 donc P (C2 = 0) = 0 donc Q(0, 0)2 = 0 et Q(0, 0) = 0, d’où la contradiction. 4. Oui. La matrice de transition est la suivante : pour tous n ∈N et k ∈Z de même parité que n tel que |k| ≤n, on a Q(10n + k, 10n+1 + k + 1) = Q(10n + k, 10n+1 + k −1) = 1 2, et Q(10n + k, y) = 0 pour tous les autres y. Cette définition a bien un sens car chaque entier peut s’écrire d’au plus une manière comme 10n + k avec |k| ≤n. Notons que cet argument ne marche plus pour l’exemple précédent, car par exemple 0 peut s’écrire 02 + 0, mais aussi 12 + (−1). 5. Oui. La matrice de transition est la suivante : si x est pair alors Q(x, y) = 1 2 si y = x−1 ou y = x−3 et 0 sinon. Si x est impair alors Q(x, y) = 1 2 si y = x + 1 ou y = x + 3 et 0 sinon. 6. Oui. La matrice de transition est la suivante : on a Q(0, 1) = 1 et Q(0, y) = 0 pour tout y ̸= 1 et, pour x ≥1, on a Q(x, y) = 1 2 si |y −x| = 1 et 0 sinon. 7. Non. Si G était une chaîne de Markov de matrice de transition Q, on aurait d’une part Q(0, 0) = P (G1 = 0) = P S2 1 = 1  = 1 et d’autre part Q(0, 0) = P (G5 = 0|G0 = 0, G1 = 0, G2 = 2, G3 = 6, G4 = 0) = 0 1 car P (G5 = 0) = 0 (il faudrait S2 5 = 5), alors que P (G0 = 0, G1 = 0, G2 = 2, G3 = 6, G4 = 0) ≥P (S1 = 1, S2 = 2, S3 = 3, S4 = 2) > 0. 8. Oui. La matrice de transition est Q(x, y) =      1 2 si x = y, 1 4 si |x −y| = 1, 0 sinon. Exercice 2 (Chaîne de Markov et indépendance) Soient S un ensemble dénombrable et (G, G) un ensemble mesurable. Soient aussi (Zn)n≥1 une suite de variables i.i.d. à valeurs dans (G, G) et φ : S × G →S une application mesurable. On définit une suite de variables (Xn)n≥0 à valeurs dans S par X0 = x ∈S et Xn+1 = φ(Xn, Zn+1) pour tout n ≥0. Montrer que (Xn)n≥0 est une chaîne de Markov et déterminer sa matrice de transition. Solution de l’exercice 2 Soient n ≥0 et (x0, . . . , xn) ∈Sn. On a par indépendance : P(X0 = x0, . . . , Xn = xn) =P(X0 = x0, φ(x0, Z1) = x1, φ(x1, Z2) = x2, . . . , φ(xn−1, Zn) = xn) =P(X0 = x0)P(φ(x0, Z1) = x1)P(φ(x1, Z2) = x2) . . . P(φ(xn−1, Zn) = xn) =P(X0 = x0)P(φ(x0, Z1) = x1)P(φ(x1, Z1) = x2) . . . P(φ(xn−1, Z1) = xn). On pose Q(y, z) = P(φ(y, Z1) = z) pour tout (y, z) ∈S2. On peut alors écrire P(X0 = x0, . . . , Xn = xn) = P(X0 = x0)Q(x0, x1)Q(x1, x2) . . . Q(xn−1, xn). Cela signifie que (Xn)n≥0 est une chaîne de Markov de matrice de transition Q. Exercice 3 Soit (Sn)n≥0 une marche aléatoire simple sur Z issue de 0. Pour tout i ≥0, on pose Ti = min{n ≥0|Sn = i} (on rappelle que tous les Ti sont finis p.s. par récurrence de S). 1. Montrer que les variables Ti+1 −Ti sont i.i.d. 2. On suppose maintenant que S est une marche biaisée négativement, i.e. les Sn+1 −Sn sont i.i.d. et P (Sn+1 −Sn = −1) = 1 −P (Sn+1 −Sn = +1) > 1 2. Montrer sans calcul que M = max{Sn|n ≥0} est une variable géométrique. Solution de l’exercice 3 1. Soit i ≥0. Par la propriété de Markov forte, conditionnellement à FTi, le processus (STi+n)n≥0 a la loi d’une marche simple issue de i, donc e S = (STi+n −i)n≥0 est une marche simple sur Z conditionnellement à FTi. De plus, on a Ti+1 −Ti = min{n ≥0|e Sn = 1}, donc conditionnellement à FTi, la variable Ti+1 −Ti a la même loi que T1. Comme cette loi est toujours la même, la variable Ti+1−Ti est indépendante de FTi. Or, les variables T1, T2−T1, . . . , Ti− Ti−1 sont FTi-mesurables, donc Ti+1 −Ti a la loi de T1 et est indépendante de (Tj+1 −Tj)0≤j≤i−1, d’où le résultat. 2. Le raisonnement est similaire. Soit i ≥0. Conditionnellement à FTi, si Ti < +∞, le processus e S = (STi+n −i)n≥0 est une marche simple sur Z par la propriété de Markov forte, donc P (Ti+1 < +∞|Ti < +∞) = P  ∃n ≥0, e Sn = +1  = P (T1 < +∞) . Par récurrence, on en déduit P (Ti < +∞) = P (T1 < +∞)i pour tout i ≥0, d’où le résultat car Ti < +∞équivaut à M ≥i. 2 Remarque Le résultat de la deuxième question a déjà été obtenu (avec le paramètre de la loi géométrique) de manière plus calculatoire dans l’exercice 4 du TD4. Exercice 4 Soit (Sn)n≥0 la marche aléatoire simple sur Z. Pour x ∈Z avec x ̸= 0, montrer que l’espérance du nombre de visites de x avant le premier retour en 0 vaut 1. Solution de l’exercice 4 Pour tout i ∈Z, on note τi = inf{n > 0|Sn = i}. On note aussi Nx([0, τ0[) le nombre de passages en x avant le premier retour en 0. Dire que Nx([0, τ0[) = k revient à dire que la marche atteint x sans repasser par 0, puis en partant de x revient k −1 fois sur x toujours sans repasser par 0 et enfin en partant de x va en 0 sans repasser par x. D’après la propriété de Markov forte, on a donc P0 (Nx([0, τ0[) = k) = P0 (τx < τ0) Px (τx < τ0)k−1 Px (τ0 < τx) . Il faut donc calculer ces trois quantités. Supposons x positif. On a, en utilisant la propriété de Markov simple, P0(τx < τ0) = P0(S1 = +1 et τx < τ0) = P0(S1 = +1)P1(τx < τ0) = 1 2 1 x. Par symétrie, on a aussi Px[τ0 < τx] = 1 2x et Px[τx < τ0] = 1 − 1 2x. L’espérance cherchée vaut donc E0[Nx([0, τ0[) = k] = ∞ X k=1 k 1 2x  1 −1 2x k−1 1 2x = 1. Exercice 5 (h-transformée d’une chaîne de Markov) Soit S un ensemble dénombrable et (Xn)n≥0 une chaîne de Markov sur S de matrice de transition Q. Soit h : S →R+. Soit P la matrice définie sur S+ = {x ∈S|h(x) > 0} par la formule P(i, j) = h(j) h(i) Q(i, j). 1. Donner une hypothèse sur h qui garantit que P est la matrice de transition d’une chaîne de Markov sur S+. Que signifie cette hypothèse si X est la marche aléatoire simple sur un graphe ? On dit alors que P est la h-transformée de Q. 2. Soit Y une chaîne de Markov de matrice de transition P. Déterminer la dérivée de Radon-Nikodým de la loi de (Yi)0≤i≤n par rapport à celle de (Xi)0≤i≤n. 3. On considère la marche aléatoire simple S sur Z. On note Ti = inf{n ≥0|Sn = i}. Pour N > 0 et k ∈[ [0, N] ], on définit P(N) k = Pk( · |TN < T0). (a) On rappelle uploads/Litterature/ td9-processus-corrige 1 .pdf

Tags
littérature marche matrice markov transition simple
Documents similaires
  • 28
  • 0
  • 0
Afficher les détails des licences
Licence et utilisation
Gratuit pour un usage personnel Attribution requise
Partager