Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

Probabilit´ es et Statistique pour Informatique et Communications c ⃝A. C. Davi

Probabilit´ es et Statistique pour Informatique et Communications c ⃝A. C. Davison, 2012 http://stat.epfl.ch 1 Introduction 2 1.1 Motivation 3 1.2 Pr´ eliminaires 21 1.3 Combinatoire 29 2 Probabilit´ e 39 2.1 Espaces de Probabilit´ e 41 2.2 Probabilit´ e Conditionnelle 64 2.3 Ind´ ependance 72 2.4 Exemples Ediﬁants 80 3 Variables Al´ eatoires 87 3.1 Id´ ees de Base 89 3.2 Esp´ erance 112 3.3 Lois Conditionnelles 120 3.4 Notions de Convergence 124 4 Variables Al´ eatoires Continues 131 4.1 Notions de Base 132 4.2 Notions Suppl´ ementaires 145 4.3 Loi Normale 152 4.4 Q-Q Plots 164 5. Plusieurs Variables Al´ eatoires 170 1 5.1 Id´ ees de Base 172 5.2 D´ ependance 184 5.3 Fonctions G´ en´ eratrices 195 5.4 Loi Normale Multivari´ ee 205 5.4 Transformations 214 5.6 Statistiques d’Ordre 221 6. Approximation et Convergence 224 6.1 In´ egalit´ es 226 6.2 Convergence 229 6.3 Lois des grands nombres 236 6.4 Th´ eor` eme central limite 241 6.5 M´ ethode delta 247 7 La Statistique 253 7.1 Introduction 254 7.2 Tests Statistiques 259 7.3 Estimation Ponctuelle 284 7.3 Estimation par Intervalle 297 8 Vraisemblance 309 8.1 Motivation 310 8.2 Param` etre scalaire 318 8.3 Param` etre vecteur 329 8.4 Mod´ elisation statistique 334 9 Inf´ erence Bayesienne 341 9.1 Id´ ees de Bayes 342 9.2 Mod´ elisation Bay´ esienne 358 2 1 Introduction slide 2 1.1 Motivation slide 3 Motivation Probabilit´ es et statistiques fournissent des outils math´ ematiques et des mod` eles pour l’´ etude d’´ ev` enements ‘al´ eatoires’ : – pr´ evisions m´ et´ eorologiques, ﬁnance (Prix Nobel, 2003), . . . ; – mod´ elisation de r´ eseaux ; – algorithmes stochastiques ; – traﬁc internet ; – erreurs dans le codage de signaux ; – traitement d’images ; – . . . Ils fournissent des m´ ethodes optimales pour pr´ evoir, ´ eliminer le bruit, pour sugg´ erer une mani` ere de traiter le traﬁc, et pour la reconstruction du vrai signal ou de l’image. Probabilit´ es et Statistique pour SIC slide 4 R´ eseaux stochastiques Graphe de Erd¨ os–R´ enyi (1960), avec p = 0.01. Les arcs entre chaque pair de sommets apparaissent avec la probabilit´ es p, ind´ ependamment des autres arcs. Dans ce cas, si p > (1 + ǫ) log n/n, ǫ > 0, le graphe sera connect´ e (presque sˆ urement). Probabilit´ es et Statistique pour SIC slide 5 3 ‘Giant component’ Graphe de Erd¨ os–R´ enyi (1960), avec n = 150, p = 0.01. Si quand n →∞on a np →c > 1, alors il y a (presque sˆ urement) un sous-graphe connect´ e contenant une fraction positive des sommets. Aucun autre composant contient plus que O(log n) des sommets. Probabilit´ es et Statistique pour SIC slide 6 R´ eseaux stochastiques II Chain network Nearest-neighbour network Scale-free network Guo et al. (2011, Biometrika) Probabilit´ es et Statistique pour SIC slide 7 4 Mod´ elisation des pages web comme r´ eseaux person topic gener interest parallel parallel support instructor Fig. 3. Common structure in the webpages data. Panel (a) shows the estimated common structure for the four cat- egories. The nodes represent 100 terms with the highest log-entropy weights. The area of the circle representing a node is proportional to its log-entropy weight. The width of an edge is proportional to the magnitude of the associated partial correlation. Panels (b)–(d) show subgraphs extracted from the graph in panel (a). Guo et al. (2011, Biometrika) Probabilit´ es et Statistique pour SIC slide 8 Algorithmes al´ eatoires Probabilit´ es et Statistique pour SIC slide 9 5 Traitement de signal 0 200 400 600 800 1000 0 20 40 60 NMR data y Wavelet Decomposition Coefficients Daub cmpct on ext. phase N=2 Translate Resolution Level 9 8 7 6 5 4 3 2 1 0 128 256 384 512 Donn´ ees et coeﬃcients d’une transformation orthogonale Probabilit´ es et Statistique pour SIC slide 10 Traitement de signal Original coefficients Daub cmpct on ext. phase N=2 Translate Resolution Level 9 8 7 6 5 4 3 2 1 0 128 256 384 512 Shrunken coefficients Daub cmpct on ext. phase N=2 Translate Resolution Level 9 8 7 6 5 4 3 2 1 0 128 256 384 512 Coeﬃcients originaux et ‘thresholded’ Probabilit´ es et Statistique pour SIC slide 11 6 Traitement de signal 0 200 400 600 800 1000 −20 0 20 40 60 NMR data y 0 200 400 600 800 1000 −20 0 20 40 60 Bayesian posterior median wr(w) Donn´ ees et signal r´ econstruit par une m´ ethode statistique Probabilit´ es et Statistique pour SIC slide 12 Donn´ ees video Time videoVBR 0 200 400 600 800 1000 50 100 150 200 250 300 350 400 Amount of coded information (Variable Bit Rate) per frame for a certain video sequence. There were about 25 frames per second. Probabilit´ es et Statistique pour SIC slide 13 7 Traﬁc sur LAN Time ethernetTraffic 0 1000 2000 3000 4000 0 2000 6000 10000 S´ erie temporelle avec variation bizarre Probabilit´ es et Statistique pour SIC slide 14 S´ eries temporelles 0e+00 6e+04 Number 0 60000 2010.0 2010.2 2010.4 2010.6 2010.8 2011.0 Value Time Nombre et valeur de transactions (unit´ es arbitraires) chaque heure pour natels, 2010. Probabilit´ es et Statistique pour SIC slide 15 8 S´ eries temporelles 0 2000 4000 Number 0 2000 5000 2010.0 2010.2 2010.4 2010.6 2010.8 2011.0 Value Time Nombre et valeur de transactions (unit´ es arbitraires) chaque heure pour natels, 2010. Probabilit´ es et Statistique pour SIC slide 16 Evaluation de performance Jean-Yves Le Boudec (2010) Probabilit´ es et Statistique pour SIC slide 17 9 Motivation pratique Beaucoup des cours ult´ erieurs se basent sur la probabilit´ e et la statistique : – Traitement du signal statistique et applications (Vetterli) ; – Automatic speech processing (Bourlard) ; – Biomedical signal processing (Vesin) ; – Stochastic models in communication (Le Boudec/Thiran) ; – Signal processing for communications (Urbanke) ; – Pattern classiﬁcation and machine learning (Gerstner/Seeger) – Models and methods for random networks (Grossglauser/Thiran) – Performance evaluation (Le Boudec) – Statistical signal processing and applications (Jovanovic/Ridolﬁ) – Information theory and coding (Urbanke) – . . . Probabilit´ es et Statistique pour SIC slide 18 Organisation – Enseignant : Professor A. C. Davison – Assistants : Juliette Blanchet, Mine Alsan, Stefan Bucur, Mohammadjavad Faraji, Marc Vuﬀray – Cours : Lundi 14.15–16.00, CE6 ; Mardi, 13.15–15.00, CE4 – Exercices : Lundi 16.15–18.00, CE6. – Test : 16 avril, 16.15–18.00, sans aucune mati` ere ´ ecrite (calculatrice simple authoris´ ee) – Bonus : pour quizzes de 15 minutes les 5 et 19 mars, le 2 avril, et les 7 et 21 mai, sans aucune mati` ere ´ ecrite (calculatrice simple authoris´ ee) – TP : avec logiciel R (http://stat.ethz.ch/CRAN/), 2 avril, 14 mai – Page web avec notes de cours, exercices (y compris Random Exercise Generator), probl` emes, etc. : http://stat.epfl.ch/page-76545.html Probabilit´ es et Statistique pour SIC slide 19 Mat´ eriel de cours Livres : Les probabilit´ es constituent ` a peu pr` es les deux premiers tiers du cours, et un bon livre est : – Ross, S. M. (1999) Initiation aux Probabilit´ es. PPUR : Lausanne. – Il y a beaucoup d’autres excellents livres d’introduction : regarder au Learning Centre. Les r´ ef´ erences en statistiques seront donn´ ees ult´ erieurement. Probabilit´ es et Statistique pour SIC slide 20 10 1.2 Id´ ees pr´ eliminaires slide 21 Les ensembles D´ eﬁnition 1. Un ensemble A est une collection d’objets, x1, . . . , xn, . . . : A = {x1, . . . , xn, . . .} . On ´ ecrit x ∈A pour dire que ‘x est un ´ el´ ement de A’, ou ‘x appartient ` a A’. La collection de tous les objets possibles dans un contexte donn´ e est appel´ e l’univers Ω. Exemples : CH = {Gen` eve, Vaud, . . . , Grisons} ensemble des cantons suisses {0, 1} = ensemble ﬁni constitu´ e des ´ el´ ements 0 et 1 N = {1, 2, . . .}, nombres entiers positifs, ensemble d´ enombrable Z = {. . . , −1, 0, 1, 2, . . .}, nombres entiers, ensemble d´ enombrable R = nombres r´ eels, ensemble non d´ enombrable ∅ = { } ensemble vide, n’a pas d’´ el´ ement Probabilit´ es et Statistique pour SIC slide 22 Sous-ensembles D´ eﬁnition 2. Un ensemble A est un sous-ensemble d’un ensemble B si x ∈A entraine que x ∈B : on note A ⊂B. – Si A ⊂B et B ⊂A, alors chaque ´ el´ ement de A est contenu dans B et vice versa, ainsi A = B : les deux ensembles contiennent pr´ ecis´ ement les mˆ emes ´ el´ ements. – Remarquer que ∅⊂A pour tout ensemble A. Ainsi, ∅⊂{1, 2, 3} ⊂N ⊂Z ⊂Q ⊂R ⊂C, ∅⊂I ⊂C – Les diagrammes de Venn sont utiles pour saisir des relations ´ el´ ementaires uploads/Management/ sic-notes.pdf