Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

Chapitre 3. Estimation Pierre Duchesne February 2, 2017 Pierre Duchesne Chapitr

Chapitre 3. Estimation Pierre Duchesne February 2, 2017 Pierre Duchesne Chapitre 3. Estimation Chapitre 3. Estimation Soit X un caractère étudié dans une population P. On suppose que l’on connaît la loi de X mais à un (ou plusieurs) paramètres près. Exemple: Soit X le nombre de pièces défectueuses produite par une machine dans un lot de n pièces. Dans un lot de n pièces sélectionnées au hasard et avec remise, nous avons ici que X ∼Bin(n, θ). Ici, c’est θ qui est le paramètre inconnu. Pierre Duchesne Chapitre 3. Estimation Plus formellement, la loi de X appartient à une famille de loi: {Fθ}θ∈Θ, où Θ est appelé espace paramétrique. Dans l’exemple précédent, X ∼Bin(n, θ) et Θ = [0, 1]. La famille de lois correspondante est alors: {Bin(n, θ)}θ∈[0,1]. Pierre Duchesne Chapitre 3. Estimation Exemple: La taille d’un individu peut être modélisée par une loi normale. Soit X : la taille d’un individu adulte demeurant à Montréal. On aura donc que X ∼N(µ, σ2). La famille de lois est alors: {N(µ, σ2)}(µ,σ2)∈R×R+ Dans ce cas-ci, Θ = R × R+. Dans cet exemple, le paramètre est le vecteur θ = (µ, σ2)⊤, qui est de dimension deux, ou encore bivarié. Pierre Duchesne Chapitre 3. Estimation En clair, la loi de X sera entièrement connue si on connaît la valeur du paramètre inconnu θ (ou θ si le paramètre est de dimension supérieure à un). La théorie de l’estimation a pour principal objectif d’approcher numériquement la valeur du paramètre inconnu. On distingue deux formes d’estimation: (i) Estimation ponctuelle: attribuer une valeur unique à θ (ou encore à θ). (ii) Estimation par intervalle de conﬁance: attribuer un ensemble de valeurs à θ. Règle générale, l’estimation se fait au moyen de l’information puisée dans un échantillon. Pierre Duchesne Chapitre 3. Estimation Chapitre 3.1 Estimation ponctuelle Soit X un caractère étudié et soit E : X1, . . . , Xn un échantillon associé à X. Déﬁnition: Un estimateur est une statistique T = t(X1, . . . , Xn) telle que son support (c’est-à-dire l’ensemble des valeurs qu’elle est susceptible de prendre) soit situé dans Θ l’espace paramétrique. Pierre Duchesne Chapitre 3. Estimation Exemple: Considérons X ∼N(θ, 1). L ’espace paramétrique du paramètre est ici Θ = R. Soit E : X1, . . . , Xn un échantillon associé à X. Les fonctions suivantes sont des exemples de statistiques: a) T1 = X1; b) T2 = (X1 + X2)/2; c) T3 = (min{X1, . . . , Xn} + max{X1, . . . , Xn})/2; d) T4 = médiane{X1, . . . , Xn}; e) T5 = 1 n−2 Pn i=2 Xi + X 2010 1 −X 2010 n ; f) T6 = 1 n Pn i=1 Xi. Il y a plusieurs estimateurs possibles dans un problème donné. C’est au moyen de critères que l’on va départager les estimateurs. Pierre Duchesne Chapitre 3. Estimation Critère 1: Absence de biais Dans ce qui suit, ˆ θ sera une notation pour un estimateur du paramètre θ. Déﬁnition: Un estimateur ˆ θ de θ est dit sans biais si: E(ˆ θ) = θ, ∀θ ∈Θ. Ainsi, cette condition d’absence de biais assure que, à la longue, les situations où l’estimateur surestime et sous-estime θ vont s’équilibrer, de sorte que la valeur estimée sera correcte en moyenne. Une interprétation physique à l’absence de biais est que l’espérance mathématique est une mesure de position, de sorte que le centre de gravité de ˆ θ est le paramètre que l’on veut estimer. Pierre Duchesne Chapitre 3. Estimation Déﬁnition: Le biais d’un estimateur ˆ θ de θ est la quantité: bθ(ˆ θ) = E(ˆ θ) −θ. On note que le signe a un sens ici. Un estimateur possèdera un biais positif si en moyenne il sur-estime la vraie valeur θ. Il aura un biais négatif sinon. Un estimateur ˆ θ est sans biais pour θ si et seulement si bθ(ˆ θ) = 0, ∀θ ∈Θ. Pierre Duchesne Chapitre 3. Estimation Théorème: Soit E : X1, . . . , Xn un échantillon associé à X, tel que E(X) = µ et var(X) = σ2. Alors ¯ X est un estimateur sans biais pour µ. En effet: E(¯ X) = 1 nE n X i=1 Xi ! = 1 n{ n X i=1 E(Xi)} = µ. Si µ est connu, S2 = 1 n Pn i=1(Xi −µ)2 est sans biais pour σ2. En effet: E(ˆ σ2) = 1 nE ( n X i=1 (Xi −µ)2 ) = 1 n{ n X i=1 σ2} = σ2. Pierre Duchesne Chapitre 3. Estimation Finalement, si µ est inconnu, S2 = 1 n−1 Pn i=1(Xi −¯ X)2 est sans biais pour σ2. Pour montrer le résultat facilement, on note que l’on peut réécrire S2 = 1 n−1 Pn i=1(Yi −¯ Y)2, avec Yi = Xi −µ. Donc, sans perte de généralité, on peut supposer que E(Xi) = 0. On suppose E(Xi) = 0. Or S2 = 1 n−1(Pn i=1 X 2 i −n ¯ X 2). Ainsi E(Pn i=1 X 2 i ) = nσ2. De même E(¯ X 2) = var(¯ X) = σ2/n. Donc: E(S2) = 1 n −1(nσ2 −σ2) = σ2. Remarque: On note que le résultat de ce théorème est valide quelque soit la loi (en particulier nous n’avons pas présumé la normalité). Pierre Duchesne Chapitre 3. Estimation Critère 2: Erreur quadratique moyenne minimale Déﬁnition: L ’erreur quadratique moyenne d’un estimateur ˆ θ est: EQMθ(ˆ θ) = E n (ˆ θ −θ)2o On note que la littérature anglophone note MSE dont le sens est mean squared error. Un résultat important exprime l’EQM en fonction de la variance et du biais carré: EQMθ(ˆ θ) = varθ(ˆ θ) + b2 θ(ˆ θ). Pierre Duchesne Chapitre 3. Estimation Proposition: EQMθ(ˆ θ) = E n (ˆ θ −θ)2o = varθ(ˆ θ) + b2 θ(ˆ θ). Pour montrer le résultat, on utilise l’artiﬁce suivant: (ˆ θ −θ)2 = n ˆ θ −E(ˆ θ) + E(ˆ θ) −θ o2 , = n ˆ θ −E(ˆ θ) o2 + 2 n ˆ θ −E(ˆ θ) o n E(ˆ θ) −θ o + n E(ˆ θ) −θ o2 = n ˆ θ −E(ˆ θ) o2 + 2 n ˆ θ −E(ˆ θ) o bθ(ˆ θ) + b2 θ(ˆ θ), On prend alors l’espérance mathématique de chaque côté. On note que E n (ˆ θ −E(ˆ θ))2o = varθ(ˆ θ); en effet, par déﬁnition, var(X) = E{(X −E(X))2}. De même E n ˆ θ −E(ˆ θ) o = E(ˆ θ) −E(ˆ θ) = 0. Pierre Duchesne Chapitre 3. Estimation Plus l’EQM d’un estimateur est petit, plus l’estimateur est considéré précis. On note que si ˆ θ est un estimateur sans biais de θ, alors: EQMθ(ˆ θ) = varθ(ˆ θ). Ceci fait ressortir tout l’intérêt que l’on peut porter à la variance d’un estimateur, comme critère de précision d’une classe composée de certains estimateurs. Pierre Duchesne Chapitre 3. Estimation L ’application simultanée des critères 1 et 2 peut être conﬂictuelle. Exemple: Supposons que X ∼N(µ, σ2), où µ est inconnue et considérons deux estimateurs de σ2: S2 = 1 n −1 n X i=1 (Xi −¯ X)2; S∗2 = 1 n n X i=1 (Xi −¯ X)2. Pierre Duchesne Chapitre 3. Estimation On se rappelle que E(S2) = σ2 et ayant présumé la normalité: (n −1)S2/σ2 ∼χ2 n−1; Donc var(S2) = 2σ4/(n −1). En clair: EQMσ2(S2) = 2σ4 n −1 + 02 = 2σ4 n −1. Pierre Duchesne Chapitre 3. Estimation D’un autre côté, S∗2 = n−1 n S2. Ainsi E(S∗2) = n −1 n E(S2) = n −1 n σ2 = (1 −1 n)σ2, Le biais de S∗2 est donc: −1 nσ2. De plus var(S∗2) = (n −1 n )2var(S2) = 2 n −1 n 2 σ4 n −1 = 2n −1 n2 σ4. Donc: EQMσ2(S∗2) = 2n −1 n2 σ4 + 1 n2 σ4 = 2n −1 n2 σ4. Pierre Duchesne Chapitre 3. Estimation En résumé, Pour le premier estimateur S2: E(S2) = σ2 et EQMσ2(S2) = 2σ4 n−1 Pour le second estimateur S∗2: E(S∗2) = (1 −1 n)σ2 et EQMσ2(S∗2) = 2n−1 n2 σ4. Selon le premier critère: E(ˆ θ) = θ, ∀θ ∈Θ. Ainsi, selon ce critère, l’estimateur de choix de σ2 devrait être S2. Pierre Duchesne Chapitre 3. Estimation Rappel: Pour le premier estimateur S2: E(S2) = σ2 et EQMσ2(S2) = 2σ4 n−1 Pour le second estimateur S∗2: E(S∗2) = (1 −1 n)σ2 et EQMσ2(S∗2) = 2n−1 n2 σ4. On note que 2n−1 n2 < 2 n−1 car 2n −1 < 2n ⇒(2n −1)/n2 < 2/n < 2/(n −1). Donc EQMσ2(S∗2) < EQMσ2(S2). Le second critère est: EQMθ(ˆ θ) = E n (ˆ θ −θ)2o que l’on cherche à minimiser. Ainsi l’estimateur de choix devrait être S∗2. Pierre Duchesne Chapitre 3. Estimation A priori, il n’y a aucune raison de privilégier un critère plutôt qu’un autre. Cependant, une grande attention a été accordée à l’absence de biais des estimateurs. Puisque l’estimateur S∗2 n’est pas dans la classe des estimateurs sans biais, il devrait être uploads/s3/ estimationstt2700h17-pdf.pdf