MDI 220 Statistiques Corrigé : Feuille de travaux dirigés 4 Solution Exercice 1

MDI 220 Statistiques Corrigé : Feuille de travaux dirigés 4 Solution Exercice 1 . Dans cet exercice, µ0, σ2, τ 2 0 sont des « hyper-paramètres » et supposés connus à l’avance. 1. L’espace des paramètres est : Θ = R. Pour déterminer la loi a posteriori, on utilise la formule de la distribution a pos- teriori : π(θ|X = x) = π(θ)pθ(x) mX(x) , où mX(x) est la marginale de X en x et joue uniquement le rôle d’un facteur de normalisation pour π(θ|x) (fonction de θ). On « voit » alors que θ|x suit une loi gaussienne. Nous calculons donc sa densité à une constante multiplicative ( une quantité ne dépendant pas de θ) près : Dans toute la suite, la notation π(θ|x) ∝g(θ) signifie « ∃λ > 0 : ∀θ, π(θ|x) = λg(θ) », où λ peut dépendre de x mais pas de θ. La constante λ est une constante de normalisation qui pourrait être calculée explicitement grâce au fait que R θ π(θ|x)dθ = 1, mais dont on n’a pas besoin dans notre cas pour identifier la loi a posteriori. π(θ|x) ∝π(θ)pθ(x) ∝e −(θ−µ0)2 2τ2 0 e−(θ−x)2 2σ2 ∝e −1 2  ( 1 τ2 0 + 1 σ2 )θ2−2( µ0 τ2 0 + x σ2 )θ  ∝e −1 2 τ2 0 +σ2 τ2 0 σ2  θ2−2 µ0σ2+xτ2 0 τ2 0 +σ2 θ  On identifie l’espérance et la variance de la loi grâce à la relation de proportionnalité e−(θ−m)2 2v2 ∝e− 1 2v2 (θ2−2mθ) et on obtient : θ|x ∼N µ0σ2 + xτ 2 0 τ 2 0 + σ2 , τ 2 0 σ2 τ 2 0 + σ2 ! . Si on désire faire tous les calculs (y compris celui de la marginale), on peut utiliser l’identité suivante : Z +∞ −∞e−ax2+bx+c dx = rπ ae b2 4a+c. 2. Puisque l’échantillon est i.i.d., Y suit une loi produit. Le modèle bayésien pour Y est donc :    θ ∼N(µ0, τ 2 0 ), Y |θ ∼N(θ, σ2)⊗n. Pour déterminer la loi a posteriori, on utilise la formule de la distribution a poste- riori : π(θ|y) = π(θ)pθ(y) mY (y) , où mY est la marginale de Y . À une constante près cela — 1 — MDI 220 Statistiques donne : π(θ|y) ∝π(θ)pθ(y) ∝e −(θ−µ0)2 2τ2 0 e− Pn i=1(θ−xi)2 2σ2 ∝e −1 2  ( 1 τ2 0 + n σ2 )θ2−2( µ0 τ2 0 + P i xi σ2 )θ  ∝e −1 2 nτ2 0 +σ2 τ2 0 σ2  θ2−2 µ0σ2+τ2 0 P i xi nτ2 0 +σ2 θ  On reconnaît une loi gaussienne : θ|y ∼N µ0σ2 + τ 2 0 P i xi nτ 2 0 + σ2 , τ 2 0 σ2 nτ 2 0 + σ2 ! . Pour étudier le comportement lorsque n →+∞, on réécrit l’espérance et la variance de la loi en introduisant la moyenne des xi, ¯ x = 1 n Pn i=1 xi : θ|y ∼N µ0σ2 + nτ 2 0 ¯ x nτ 2 0 + σ2 , τ 2 0 σ2 nτ 2 0 + σ2 ! . Lorsque n →+∞, E(θ|y) ∼nτ 2 0 ¯ x nτ 2 0 = ¯ x →E(X1|θ) = θ et Var(θ|y) ∼τ 2 0 σ2 nτ 2 0 = σ2 n →0. Solution Exercice 2 . 1. L’espace des paramètres est : Θ = {θ1, θ2}. Le modèle statistique est : P = {B(θ), θ ∈Θ}, où B(θ) est une loi de Bernoulli de paramètre θ. 2. Ici on définit un modèle bayésien pour X :    θ ∼π, X|θ ∼B(θ). De manière générale, on a : π(θ|x) = π(θ)pθ(x) π(θ1)pθ1(x) + π(θ2)pθ2(x) = π(θ)θx(1 −θ)1−x π(θ1)θx 1(1 −θ1)1−x + π(θ2)θx 2(1 −θ2)1−x. Pour π = π1 (π1(θ1) = π2(θ2) = 0.5), on obtient donc les valeurs π1(θ|x) : θ/x 0 1 θ1 1−θ1 1−θ1+1−θ2 = 2 3 θ1 θ1+θ2 = 1 4 θ2 1−θ2 1−θ1+1−θ2 = 1 3 θ2 θ1+θ2 = 3 4 — 2 — MDI 220 Statistiques 3. On a maintenant comme distribution a priori : π2(θ1) = 1/4, π2(θ2) = 3/4. On obtient donc les valeurs π2(θ|x) : θ/x 0 1 θ1 1×(1−θ1) 1×(1−θ1)+3×(1−θ2) = 2 5 1×θ1 1×θ1+3×θ2 = 1 10 θ2 3 5 9 10 4. La densité de la loi prédictive a posteriori est donnée par : p(y) = π2(θ1|x)pθ1(y) + π2(θ2|x)pθ2(y). Pour x = 1 on obtient : p(0) = 1 10 × (1 −0.2) + 9 10 × (1 −0.6) = 11 25 et p(1) = 14 25. 5. Pour X = (X1, . . . , Xn) échantillon i.i.d. : π(θ|x) = π(θ)pθ(x) π(θ1)pθ1(x) + π(θ2)pθ2(x) = π(θ)θ P i xi(1 −θ)n−P i xi π(θ1)θ P i xi 1 (1 −θ1)n−P i xi + π(θ2)θ P i xi 2 (1 −θ2)n−P i xi = π(θ)θs(1 −θ)n−s π(θ1)θs 1(1 −θ1)n−s + π(θ2)θs 2(1 −θ2)n−s. Ainsi π(θ|x) ne dépend de x qu’à travers s. 6. On pose α = θ2(1−θ2) θ1(1−θ1) = 3 2. Alors : π(θ1|x) = π(θ1) π(θ1) + αn/2π(θ2) et π(θ2|x) = π(θ2) α−n/2π(θ1) + π(θ2). D’où, quand n →+∞, π(θ1|x) →0 et π(θ2|x) →1, indépendamment de la distri- bution a priori de θ. La loi conditionnelle a posteriori tend à privilégier le θ le plus proche de 0.5 (en effet θ2 = 0.6 ≈0.5 et θ1 = 0.2 ̸= 0.5). Solution Exercice 3 . 1. On détermine la distribution a posteriori par la formule π(θ|x) = π(θ)pθ(x) mX(x) , où mX est la marginale de X. Ici π(θ) = 1]0,1[(θ). On obtient donc : mX(x) = Z R+ π(θ)pθ(x) dθ = Z 1 0 pθ(x) dθ = Z 1 x 2x θ2 dθ = −2x θ 1 x = 2(1 −x) si x > 0 et 0 sinon. — 3 — MDI 220 Statistiques D’où : π(θ|x) = x 1−x 1 θ2 pour θ ∈[x, 1] et x > 0, et 0 sinon. 2. De la même manière pour π(θ) = 3θ21]0,1[(θ) : mX(x) = R 1 x 3θ2 2x θ2 dθ = 6x(1 −x) (pour x > 0 et 0 sinon) et π(θ|x) = 1 1−x pour θ ∈[x, 1] et x > 0, et 0 sinon. 3. L’espérance a posteriori est donnée par : E(θ|x) = Z Θ θπ(dθ|x) = Z R+ θπ(θ|x) dθ. Elle est systématiquement nulle pour x ≤0. Dans la suite on suppose donc que x > 0. Dans le premier cas (π(θ|x) = x 1−x 1 θ21[x,1](θ)) : E(θ|x) = R 1 x θ x 1−x 1 θ2 dθ = −x log(x) 1−x . Dans le second cas (π(θ|x) = 1 1−x1[x,1](θ)) : E(θ|x) = R 1 x θ 1−x dθ = 1 2(1 + x). 4. Dans cette question, on dispose d’un échantillon i.i.d. X = (X1, . . . , Xn). X suit une loi produit. Ainsi, pour π(θ) = 1]0,1[(θ), la marginale de X est donnée par : mX(x) = Z R+ π(θ)pθ(x) dθ = Z 1 0 pθ(x) dθ = Z 1 x0 2n Q i xi θ2n dθ (x0 = max i xi) = " − 2n Q i xi (2n −1)θ2n−1 #1 x0 = 2n Q i xi 2n −1 1 x2n−1 0 −1 ! . En conséquence, la densité a posteriori est obtenue par la formule suivante : π(θ|x) = 1 mX(x) 2n Q i xi θ2n = 2n −1 θ2n x2n−1 0 1 −x2n−1 0 pour θ ∈[x0, 1] et 0 sinon. — 4 — uploads/Industriel/ corrige-td4 1 .pdf

Tags
Industrielπ(θ|x) mx(x) π(θ)pθ(x) obtient posteriori
Documents similaires
  • 22
  • 0
  • 0
Afficher les détails des licences
Licence et utilisation
Gratuit pour un usage personnel Attribution requise
Partager