Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

Département d'informatique et de recherche opérationnelle Laboratoire d’Informa

Département d'informatique et de recherche opérationnelle Laboratoire d’Informatique des Systèmes d’Apprentissage IFT3395/ 6390 Fondements de l’apprentissage machine Professeur: Pascal Vincent Premier cours: INTRODUCTION Au programme aujourd’hui Faire connaissance... Page Web du cours: Inscrivez-vous au cours IFT 3395/ 6390 sur le système Moodle: http://moodle.iro.umontreal.ca Présentation des objectifs, du plan de cours, des modalités d’évaluation, ... Présentation informelle du domaine de l’apprentissage automatique. Plan de Cours et autres informations pratiques PREMIÈRE PARTIE La page Web du cours: http://moodle.iro.umontreal.ca Les informations de plan de cours se trouvent sur: 1 Objectifs du cours • Technologie: algorithmes d’apprentissage • pr´ e-requis: algorithmique, structure de donn´ ees, programmation, statis- tiques, alg` ebre lin´ eaire • focaliser sur la classiﬁcation • Philosophie: la th´ eorie de l’apprentissage • Applications: . . . Tonalité du cours Matériel pédagogique principal produit par Balázs Kégl & Pascal Vincent. Le cours nécessite d’être assez à l’aise en mathématiques & informatique. Le cours sera donné en Français, mais beaucoup de matériel est en Anglais (lectures, et matériel parfois utilisé comme support de cours). Présentation informelle du domaine de l’apprentissage automatique DEUXIÈME PARTIE Au programme Place de l’apprentissage en Intelligence Artiﬁcielle. Les disciplines fondatrices de l’apprentissage. Les domaines d’application de l’apprentissage. Ex. de types de problèmes en apprentissage. La représentation des données. Ex. d’un algorithme simple. L’Intelligence Artiﬁcielle, 2 approches historiques Sub-symbolique Inspirée du fonctionnement du cerveau (réseaux neuronaux) L’apprentissage est très tôt au coeur de cette approche. “Elephants don’t play chess” (R. Brooks, 1990) I.A. “connexioniste” Symbolique Systèmes à base de règles “logiques” construites à la main. Ex: systèmes experts. Succès moderne: Deep Blue bat Kasparov aux échecs en 1996. I.A. “classique” 1983 De la science-ﬁction à la réalité... 1983: dans WarGames, un ordinateur apprend en jouant contre lui-même à tic-tac-toe et “global thermonuclear war”. 1995: TD-gammon, un réseau neuronal entraîné en jouant 200 000 parties de backgammon contre lui-même, joue à un niveau équivalent aux meilleurs joueurs mondiaux (Tesauro 1995). THE ONLY WINNING MOVE IS NOT TO PLAY Conclusion: Vision de l’intelligence artiﬁcielle en 1957 pp g q 1957 Rosenblatt Perceptron INFORMATIQUE Intelligence Artificielle Classique Connexioniste NEURO!SCIENCES (symbolique) (réseaux neuronaux) (Rosenblatt, “Perceptron”) Place de l’apprentissage en I.A. en 2009 L’I.A. “connexioniste” a mûri, s’est mathématisée, a engendré l’apprentissage statistique dont les réseaux neuronaux ne sont plus qu’une sous- partie. L’I.A. classique, en intégrant l’incertain, a engendré les modèles graphiques probabilistes (réseaux Bayesiens), dont les parmètres peuvent être appris. Le rôle fondamental de l’apprentissage et d’une approche probabiliste est largement reconnu. apprentissage statistique } Vision 2009 des disciplines fondatrices pp g q 2003 INFORMATIQUE Intelligence Artificielle NEURO!SCIENCES Théorie de l’Information Traitement du signal STATISTIQUES Machine Learning Apprentissage Statistique Orientatio • Sources d’inspiration pour les alg • sciences cognitives/neurosciences • “beaut´ e math´ ematique” • solutions d’ing´ enierie sources d’inspiration: + Optimisation + probabilités SCIENCES COGNITIVES Apprendre à partir d’exemples ! “cheval” “cheval” “cheval” Principe beaucoup plus général que d’écrire à la main, en partant de zéro, un algorithme pour reconnaître un cheval... Vous savez programmer: comment feriez-vous ? 3 Algorithmes “classiques” vs. d’apprentissage • Approche classique • description formelle des contraintes de l’entr´ ee et de la sortie souhait´ ee • compr´ ehension du probl` eme computationnel • design d’une solution algorithmique bas´ ee sur ces connaissances • Probl` emes • Connaissances incompl` etes • Algorithme trop coˆ uteux 4 Algorithmes “classiques” vs. d’apprentissage • Approche d’apprentissage • donn´ ees (exemples) de forme (entr´ ee,sortie) • compr´ ehension partielle du probl` eme: connaissances a-priori • apprendre: chercher dans un ensemble de fonctions Ex: la reconnaissance de caractères 2 3 Ensemble d’apprentissage 2 ou 3 ? Point de test Apprendre n’est pas simplement mémoriser... C’est être capable de généraliser! 2 Apprentissage • Une caract´ eristique essentielle de l’intelligence naturelle • Apprendre par coeur vs. l’apprentissage inductif • Mot cl´ e: G ´ EN ´ ERALISATION • Situation d’apprentissage typique: 1 On nous donne des exemples (des donn´ ees) 2 On nous pr´ esente un nouveau cas et il faut prendre une d´ ecision 5 Cat´ egories d’apprentissage automatique • Classiﬁcation • classiﬁer le nouvel exemple • R´ egression • faire une pr´ ediction ` a partir du nouvel exemple • Estimation de densit´ e • dire si le nouvel exemple ressemble aux exemples d´ ej` a vus • (Mod` eles graphiques) 18 Applications • Applications “traditionnelles”: reconnaissance des formes • ´ ecriture, parole, empreinte digitale. etc. • les experts humains les font bien • nombre de donn´ ees, nombre d’attributs, nombre de classes mod´ er´ es • bruit/ambigu¨ ıt´ e mod´ er´ e 19 Applications • Applications “modernes”: • forage de donn´ ees, forage de texte, pr´ ediction ﬁnanci` ere, ranger des “hits”(Google), analyse des expressions g´ en´ etiques • les experts humains n’existent pas • nombre de donn´ ees, nombre d’attributs, nombre de classes ´ enormes • bruit/ambigu¨ ıt´ e augment´ e 20 Applications • Reconnaissance des formes • ´ ecriture • parole • empreinte digitale • Forage de texte • Google • classiﬁcation de textes 21 Applications • Forage de donn´ ees • marketing direct • pr´ ediction des primes • Bioinformatique • pr´ ediction du risque de cancer • d´ etection de cancer • d´ ecouverte de m´ edicament 22 Applications • Traitement de langage • pr´ ediction du prochain mot • d´ esambigu¨ ısation du sens • pr´ ediction du POS • G´ enie logiciel • pr´ ediction de la stabilit´ e (Part-Of-Speech) Représentation des données x = ( 0, 0, ... , 140, 0, ... ) n x vecteur de R ? x 1 x2 x1 x2 L’algorithme du plus proches voisin On trouve le plus proche voisin de x parmi l’ensemble d’apprentissage selon une certaine mesure de distance (ex: distance Euclidienne). Pour un point test x: BLEU! On associe à x la classe de ce plus proche voisin. Ensemble d’apprentissage x? La notion de niveau de représentation uploads/Science et Technologie/ introduction-pdf.pdf