Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

29/04/2019 eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpYXQiOjE1NTY1NDI3MjgsImRhdGE

29/04/2019 eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpYXQiOjE1NTY1NDI3MjgsImRhdGEiOnsibGFuZyI6ImZy .html file:///C:/Users/ADMINI~1/DOWNLO~1/CYBERL~1/web/APPREN~1/eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpYXQiOjE1NTY1NDI3MjgsImRhd… 1/470 Apprentissage statistique 29/04/2019 eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpYXQiOjE1NTY1NDI3MjgsImRhdGEiOnsibGFuZyI6ImZy .html file:///C:/Users/ADMINI~1/DOWNLO~1/CYBERL~1/web/APPREN~1/eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpYXQiOjE1NTY1NDI3MjgsImRhd… 2/470 CHEZ LE MÊME ÉDITEUR Dans la même collection P. N AÏM, P.-H. W , P. L UILLEMIN ERAY OURRET ECKER , O. P , A. B . – Réseaux bayésiens. N°11972, 3e édition, 2007, 424 pages (collection Algorithmes). G. F LEURY, P. LACOMME ANGUY et A. T . – Simulation à événements discrets. Modèles déterministes et stochastiques – Exemples d’applications implémentés en Delphi et en C++. N°11924, 2006, 444 pages avec CD-Rom. J. R ICHALET et al. – La commande prédictive. Mise en œuvre et applications industrielles. N°11553, 2004, 256 pages. P. LACOMME RINS , C. P , M. SEVAUX – Algorithmes de graphes. N°11385, 2003, 368 pages, avec CD-Rom. J. D RÉO ÉTROWSKI , A. P , P. SIARRY, E. TAILLARD – Métaheuristiques pour l’optimisation difficile. Recuit simulé, recherche tabou, algorithmes évolutionnaires et algorithmes génétiques, colonies de fourmis… N°11368, 2003, 368 pages. A. CORNUÉJOLS, L. MICLET. – Apprentissage artificiel. Concepts et algorithmes. N°11020, 2002, 638 pages. Y. COLLETTE, P. SIARRY – Optimisation multiobjectif. N°11168, 2002, 316 pages. C. GUÉRET RINS , C. P , M. SEVAUX. – Programmation linéaire. 65 problèmes d’optimisation modélisés et résolus avec Visual XPress. N°9202, 2000, 365 pages, avec CD-ROM. Autres ouvrages I. H URBAIN REYFUS , D avec la contribution d’E. . – Mémento /Linux UNIX . N°11954, 2006, 14 pages. C. JACQUET. – Mémento LaTeX. N°12244, 2007, 14 pages. 29/04/2019 eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpYXQiOjE1NTY1NDI3MjgsImRhdGEiOnsibGFuZyI6ImZy .html file:///C:/Users/ADMINI~1/DOWNLO~1/CYBERL~1/web/APPREN~1/eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpYXQiOjE1NTY1NDI3MjgsImRhd… 3/470 G. Dreyfus, J.-M. Martinez, M. Samuelides M. B. Gordon, F. Badran, S. Thiria  Apprentissage statistique 29/04/2019 eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpYXQiOjE1NTY1NDI3MjgsImRhdGEiOnsibGFuZyI6ImZy .html file:///C:/Users/ADMINI~1/DOWNLO~1/CYBERL~1/web/APPREN~1/eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpYXQiOjE1NTY1NDI3MjgsImRhd… 4/470 ÉDITIONS EYROLLES 61, bd Saint-Germain 75240 Paris Cedex 05 www.editions-eyrolles.com Le code de la propriété intellectuelle du 1er juillet 1992 interdit en effet expressément la photocopie à usage collectif sans autorisation des ayants droit. Or, cette pratique s’est généralisée notamment dans les établissements d’enseignement, provoquant une baisse brutale des achats de livres, au point que la possibilité même pour les auteurs de créer des œuvres nouvelles et de les faire éditer correctement est aujourd’hui menacée. En application de la loi du 11 mars 1957, il est interdit de reproduire intégralement ou partiellement le présent ouvrage, sur quelque support que ce soit, sans autorisation de l’éditeur ou du Centre Français d’Exploitation du Droit de Copie, 20, rue des Grands-Augustins, 75006 Paris. © Groupe Eyrolles, 2002, 2004, 2008, ISBN : 978-2-212-12229-9 Cet ouvrage est la troisième édition, avec mise à jour et nouveau titre, de l’ouvrage paru à l’origine sous le titre « Réseaux de neurones – Méthodologie et applications » (ISBN : 978-2-212-11464-5) 29/04/2019 eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpYXQiOjE1NTY1NDI3MjgsImRhdGEiOnsibGFuZyI6ImZy .html file:///C:/Users/ADMINI~1/DOWNLO~1/CYBERL~1/web/APPREN~1/eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpYXQiOjE1NTY1NDI3MjgsImRhd… 5/470 Remerciements Je tiens à exprimer ma chaleureuse gratitude à la direction de l’École Supérieure de Physique et de Chimie Industrielles (Jacques Prost, Directeur, et Claude Boccara, Directeur Scientiﬁque) et à leurs prédécesseurs Pierre-Gilles de Gennes et Jacques Lewiner, qui, dès 1982, à une époque où le sujet n’était guère popu- laire, ont apporté un soutien continu aux recherches menées sur l’apprentissage artiﬁciel dans mon labo- ratoire. Je remercie également, de la manière la plus vive, mes collaborateurs, présents ou passés, dont les travaux ont contribué à faire progresser ce sujet difﬁcile. Mes remerciements vont aussi aux managers, ingénieurs et chercheurs des sociétés françaises et étran- gères qui font ou ont fait conﬁance aux méthodes que nous avons développées. Je tiens à mentionner spécialement Netral S.A., qui a accepté de contrib uer au contenu du CD-Rom qui accompagne cet ouvrage. Enﬁn, je suis heureux de remercier amicalement l’éditeur de ce livre, Muriel Shan Sei Fan, qui en a assuré la bonne ﬁn a vec une énergie et une bonne humeur inépuisables, ainsi que tous les auteurs : ils ont apporté leurs contrib utions avec enthousiasme et ponctualité, et ils ont accepté de bonne grâce les contraintes de vocabulaire, de style et de notation qu’imposait notre volonté commune de rédiger un ouvrage didactique, accessible aux ingénieurs comme aux étudiants et aux chercheurs. Gérard Dreyfus Je tiens à remercier Jean-Baptiste Thomas et Patrick Raymond, responsables à la Direction de l’Énergie Nucléaire du CEA au Centre d’Études de Saclay, pour la conﬁance et le soutien qu’ils m’ont accordés sur les activités réseaux de neurones artiﬁciels. Je voudrais également remercier chaleureusement mes anciens thésards : Fabrice Gaudier, Manuel Dominguez, Lionel Montoliu et Vincent Vigneron qui ont contribué largement aux travaux de recherche et développement des réseaux de neurones dans mon labo- ratoire. Jean-Marc Martinez Je remercie la direction scientiﬁque de l’ONERA et le chef de projet Jean-Louis Gobert pour le soutien accordé à des recherches d’ordre général sur les réseaux de neurones notamment dans le cadre du projet fédérateur de contrôle actif des écoulements. Je tiens à remercier parmi mes étudiants en thèse actuels ou passés, ceux qui ont directement contribué à f aire progresser notre compréhension collective du contrôle neuronal à savoir : Emmanuel Daucé (Uni versité d’Aix-Marseille), Alain Dutech (INRIA, Nancy), Marc Lion (ingénieur informaticien), Laurent Perrinet (ONERA-DTIM). Il faut aussi mentionner les étudiants de Supaéro dont j’ai guidé les projets l’an dernier et dont les réactions m’ont aidées à améliorer le contenu des chapitres 4 et 5. Enﬁn, je voudrais ajouter mes remerciements personnels à Gérard Dreyfus pour le dialogue scientiﬁque qui s’est instauré entre nous à tra vers ces échanges très enrichissants pour moi. Bien conscient que les justiﬁcations mathématiques ne sufﬁsent pas à évaluer l’intérêt d’un algorithme, j’ai donc attaché un grand prix à l’expérience pratique que Gérard m’a transmise par ses observations. Manuel Samuelides 29/04/2019 eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpYXQiOjE1NTY1NDI3MjgsImRhdGEiOnsibGFuZyI6ImZy .html file:///C:/Users/ADMINI~1/DOWNLO~1/CYBERL~1/web/APPREN~1/eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpYXQiOjE1NTY1NDI3MjgsImRhd… 6/470 L’apprentissage statistique II Je remercie mes étudiants du DEA de Sciences Cognitives de Grenoble. Au ﬁl des années, ils ont contribué à faire évoluer mon cours par leurs remarques et leurs questions. Ils ont apporté des corrections à mes notes, dont une partie a servi de base à la rédaction du chapitre 6. Le travail avec mes étudiants de thèse : Juan Manuel Torres Moreno, Arnaud Buhot, Sebastian Risau Gusman, Christelle Godin, m’a apporté la joie de la recherche partagée, et a enrichi ma compréhension du domaine de l’apprentissage. Je les en remercie chaleureusement. Enﬁn, je tiens à remercier mon collègue Bernard Amy pour sa relecture critique, amicale et pleine de remarques pertinentes. Mirta B. Gordon Le chapitre qui est présenté est le résultat de nombreux efforts, il représente une collaboration fructueuse entre informaticiens, physiciens et mathématiciens. Nous tenons à remercier amicalement tous les cher- cheurs qui, par leur travail ou l’intérêt qu’ils lui ont porté, ont permis la réalisation de ce travail et tout particulièrement : Méziane Yacoub, Carlos Mejia, Michel Crépon, Awa Niang, Ludvine Gross, F. Anouar, Philippe Daigremont et Dominique Frayssinet. Fouad Badran, Sylvie Thiria Je tiens à remercier tous les collaborateurs du CEA et les étudiants qui ont participé à ces travaux de recherche. Sans être exhaustif, je tiens à exprimer toute ma gratitude à Caroline Privault, Dominique Derou-Madeline, Muriel Pitiot, Joël Feraud, Jean-Marc Bollon, Georges Gonon, Claire Jausions, Pierre Puget et enﬁn Jean-Jacques Niez, qui a initié les recherches en réseaux de neurones au CEA-LETI. Laurent Hérault 29/04/2019 eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpYXQiOjE1NTY1NDI3MjgsImRhdGEiOnsibGFuZyI6ImZy .html file:///C:/Users/ADMINI~1/DOWNLO~1/CYBERL~1/web/APPREN~1/eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpYXQiOjE1NTY1NDI3MjgsImRhd… 7/470 Sommaire Avant-propos et guide de lecture XI Guide de lecture XII Détail des contributions XIII 1 L’apprentissage statistique : pourquoi, comment ? 1 Introduction 1 Premier exemple : un problème élémentaire d’apprentissage statistique 2 Point de vue algorithmique 3 Point de vue statistique 4 Quelques définitions concernant les modèles 5 Modèles statiques 5 Modèles dynamiques 6 Deux exemples académiques d’apprentissage supervisé 7 Un exemple de modélisation pour la prédiction 7 Un exemple de classification 11 Conclusion 16 Éléments de théorie de l’apprentissage 16 Fonction de perte, erreur de prédiction théorique 17 Dilemme biais-variance 22 De la théorie à la pratique 25 Remplacer des intégrales par des sommes 26 Bornes sur l’erreur de généralisation 27 Minimisation du risque structurel 30 Conception de modèles en pratique 30 Collecte et prétraitement des données 30 Les données sont préexistantes 30 Les données peuvent être spécifiées par le concepteur 30 Prétraitement des données 31 Sélection des variables 31 Apprentissage des modèles 32 Sélection de modèles 32 Sélection de modèles 32 Validation simple (hold-out) 32 29/04/2019 eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpYXQiOjE1NTY1NDI3MjgsImRhdGEiOnsibGFuZyI6ImZy .html file:///C:/Users/ADMINI~1/DOWNLO~1/CYBERL~1/web/APPREN~1/eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpYXQiOjE1NTY1NDI3MjgsImRhd… 8/470 L’apprentissage statistique IV Validation croisée (« cross-validation ») 33 Leave-one-out 34 Sélection de variables 35 Cadre théorique 36 Méthode de la variable sonde 37 Résumé : stratégies de conception 47 Conception de modèles linéaires par rapport à leurs paramètres (régression linéaire) 48 Sélection de variables pour les modèles linéaires en leurs paramètres 48 Apprentissage de modèles linéaires en leurs paramètres : la méthode des moindres carrés 49 Propriétés de la solution des moindres carrés 51 Estimation de la qualité de l’apprentissage 52 Interprétation géométrique 53 Dilemme biais-variance pour les modèles linéaires 54 Sélection de modèles linéaires 56 Moindres carrés par orthogonalisation de Gram-Schmidt 59 Éléments de statistiques 60 Qu’est-ce qu’une variable aléatoire ? 60 Espérance mathématique d’une variable aléatoire 62 Estimateur non biaisé 63 Variance d’une variable aléatoire 64 Autres distributions utiles 65 Intervalles de confiance 66 Tests d’hypothèse 68 Conclusion 70 Bibliographie 70 2 Les réseaux de neurones 73 Introduction 73 Réseaux de neurones : définitions et uploads/Ingenierie_Lourd/ apprentissage-statistique.pdf