Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

UFR Mathématiques Probabilités et statistique pour la théorie de l’information

UFR Mathématiques Probabilités et statistique pour la théorie de l’information Notes de cours Dimitri Petritis Rennes Septembre 2019 Master de cryptographie Dimitri Petritis Institut de recherche mathématique de Rennes Université de Rennes 1 et CNRS (UMR6625) Campus de Beaulieu 35042 Rennes Cedex France Mathematics subject classiﬁcation (2010): 60-01 94-01 c ⃝2012 – 2019 D. Petritis Table des matières 1 Aléa et information 1 1.1 Rôle de l’aléa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 Probabilités et intuition aléatoire . . . . . . . . . . . . . . . . . . . . . . . 3 1.3 Esquisse du problème d’estimation statistique . . . . . . . . . . . . . . . 3 1.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 I Théorie des probabilités; statistique mathématique 7 2 Théorie élémentaire des probabilités 9 2.1 Espace de probabilité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.1.1 Espace des épreuves, espace des événements . . . . . . . . . . . . 9 2.1.2 Probabilisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.2 Variables aléatoires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 2.3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3 Probabilité conditionnelle et indépendance 21 3.1 Conditionnement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 3.2 Indépendance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 3.3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 4 Espérance, variance; théorèmes des grands nombres 29 4.1 Espérance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 4.1.1 Cas discret . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 4.1.2 Cas continu (à densité) . . . . . . . . . . . . . . . . . . . . . . . . . 30 4.2 Variance et covariance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 4.3 Fonction génératrice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 4.4 Fonction caractéristique . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 4.5 Théorèmes des grands nombres . . . . . . . . . . . . . . . . . . . . . . . . 34 4.6 Théorème central limite . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 4.7 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 5 Chaînes de Markov sur des espaces d’états dénombrables 43 5.1 Probabilités de transition, matrices stochastiques . . . . . . . . . . . . . . 43 5.2 Temps d’arrêt. Propriété forte de Markov . . . . . . . . . . . . . . . . . . 45 5.3 Classiﬁcation des états. Recurrence, transience . . . . . . . . . . . . . . . 46 5.4 Probabilité limite, probabilité invariante (stationnaire) . . . . . . . . . . . 49 5.5 Stationnarité, réversibilité . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 5.6 Théorème des grands nombres pour les chaînes de Markov . . . . . . . . 54 iii TABLE DES MATIÈRES TABLE DES MATIÈRES 5.7 Exemples d’applications algorithmiques . . . . . . . . . . . . . . . . . . . 56 5.7.1 Classiﬁcation de pages internet; algorithme PageRank . . . . . . 56 5.7.2 Algorithme de Metropolis . . . . . . . . . . . . . . . . . . . . . . . 57 5.8 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 6 Notions de statistique 63 6.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 6.2 Estimation paramétrique . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 6.2.1 Estimation ponctuelle . . . . . . . . . . . . . . . . . . . . . . . . . 65 6.2.2 Estimation d’intervalles de conﬁance . . . . . . . . . . . . . . . . 66 6.2.3 Tests d’hypothèses . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 6.3 Estimation non paramétrique . . . . . . . . . . . . . . . . . . . . . . . . . 69 6.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 II Théorie de l’information 71 7 Quantiﬁcation de l’information 73 7.1 Postulats d’une quantité d’incertitude, entropie . . . . . . . . . . . . . . . 73 7.2 Trois interprétations de l’entropie . . . . . . . . . . . . . . . . . . . . . . . 78 7.2.1 H est une espérance (qui nous fait vieillir!) . . . . . . . . . . . . . 78 7.2.2 H est le nombre moyen de questions nécessaires pour déterminer la valeur que prend une variable aléatoire . . . . . . . . . . . . . . 78 7.2.3 H est le rapport des logarithmes du volume des conﬁgurations typiques sur celui de toutes les conﬁgurations . . . . . . . . . . . 80 7.3 Propriétés de la fonction entropie, entropie relative . . . . . . . . . . . . 84 7.4 Entropie des évolutions markoviennes . . . . . . . . . . . . . . . . . . . . 85 7.5 Couples de variables aléatoires . . . . . . . . . uploads/S4/ ptin.pdf