Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

Machine Learning StatisticalLearning Apprentissage automatique Présentation & I

Machine Learning StatisticalLearning Apprentissage automatique Présentation & Introduction • généralités/introduction historique • importance du prétraitement et de la collecte des données (standardisations, outliers, gestion des données manquantes) • visualisation des données • model validation (bootstrapping, cross-validation), compromis biais/variance, sur-ajustement, mesures de performances. • supervised learning (les grandes familles d'algorithme), les modèles linéaires et non linéaires • unsupervised learning (clustering) • réduction de dimension (de la PCA au manifold) • cas particulier du deep learning (perceptron, CNN) Plan Terminologie/Notions • Statistiques : quantifier/décrire des observations • Data Mining : expliquer/découvrir les motifs/structures • Machine Learning : prédire avec des modèles • Artificial Intelligence : agir/prendre des décisions Aperçu général des domaines Aperçu général des domaines • Big Data : données massives (cas particulier de volumétrie) • Machine Learning : technologie permettant d’apprendre sans programmation explicite à partir de données en entrée. • Pattern recognition • Data Mining : fouille/forage de données…terme plus ancien • Deep Learning : catégorie de ML utilisant des réseaux de neurones Terminologie • Machine Learning : a target is called a label. • Statistics : a target is called a dependent variable. • A variable in statistics is called a feature in machine learning. • A transformation in statistics is called feature creation in machine learning. Terminologie anglaise • Labels de classification binaire: classes/groupes/categories • Une variable est appellée attribut en ML . Terminologie française Intelligence Artificielle • “L’intelligence est la capacité à comprendre un contexte nouveau, et à réagir à cette nouvelle situation de façon adaptée.” (Richard Atkinson ) • “L’intelligence, ça n’est pas ce que l’on sait mais ce que l’on fait quand on ne sait pas.” (Jean Piaget ) Intelligence humaine Pas de définition consensuelle de l’intelligence Points communs : • Capacité à s’adapter à l’inconnu • Capacité à apprendre • Capacité à relier, à dégager des formes Intelligence humaine Intelligence Artificielle ou Informatique Avancée ? Intelligence artificielle Qu’est-ce que l’IA? Différents domaines de l’IA • Systèmes experts : connaissance, raisonnement logique • Vie artificielle : viabilité, auto-réparation, reproduction, . . . • Informatique bio-inspirée : s’inspirer des mécanismes biologiques pour trouver de nouveaux algorithmes • Systèmes multi-agents : comportements collectifs, émergence, . . . Exemples • Eliza (chatbot) : https://www.eliza.levillage.org/ • Robots : https://www.bostondynamics.com/ • Informatique/robotique bio-inspirée : https://www.darpa.mil/news-events/2019-03-12 • Systèmes multi-agents : NetLogo • Artficial Intelligence : A Modern Approach, Stuart Russell & Peter Norvig Votre logo ou nom ici Représentations populaires de l’IA L’IA aujourd’hui… Apprentissage Statistique • 1943: Artificial neuron model - McCullough, Pitts • 1952 : IBM « checkers » • 1957: Perceptron algorithm – Rosenblatt • 60’s: Data-mining - John Tukey • 1967 : Nearest Neighbor Algorithm – Cover & Hart • 1974, 1986: Backpropagation algorithm • 1984: CART - Breiman, Friedman, Stone, Olshen • 1990 : “The Strength of Weak Learnability”/Boosting - Schapire • 1995: Statistical learning theory/SVM - Vapnik Historique • Arthur Samuel (1959) : Champ d’ étude qui donne aux ordinateurs la capacité d’apprendre sans avoir été programmés explicitement • Tom M. Mitchell (1997) : On dit qu’un programme apprend d’une expérience E par rapport à une classe de tâches T et à une mesure de performance P si sa performance sur T, mesurée par P, augmente avec l’expérience E. Définitions • Les algorithmes construisent un modèle à partir d’exemples donnés en entrée dans le but de faire des prédictions plutôt que de suivre strictement une suite statique d’instructions. Définitions un des champs d’étude de l’intelligence artificielle la discipline scientifique concernée par le développement ,l’analyse et l’implémentation de méthodes automatisables qui permettent à une machine (au sens large) : • d’évoluer grâce à un processus d’apprentissage • de remplir des tâches qu’il est difficile ou impossible de remplir par des moyens algorithmiques plus classiques Définitions • filtrage de spams, classification de textes • reconnaissance de caractères (OCR) • moteurs de recherche • plateformes de recommandation • outils de reconnaissance de la parole • vision par ordinateur • bio-informatique, analyse du génome, médecine (prédictive) Le ML permet d’inférer les règles qui prédisent les bons labels/scores Exemples Cas particulier du Big Data Exemple ML : reconnaissance de caractères Comment reconnaître des caractères manuscrits ? • Par énumération de règles ? Si intensité pixel à la position... alors c’est un "3" Long et fastidieux, difficile de couvrir tous les cas • En demandant à la machine d’apprendre et lui laisser faire des essais et apprendre de ses erreurs C’est l’apprentissage machine/statistique ou machine learning (ML) Exemple ML : reconnaissance de caractères Comment procède-t-on ? • On donne à l’algorithme des données d’entrainement • l’algorithme d’apprentissage machine apprend un modèle capable de généraliser à de nouvelles données Exemple ML : reconnaissance de caractères • Problème avec données en grandes dimensions: besoin exponentiel de données • The curse of dimensionality, first introduced by Bellman (1961), indicates that the number of samples needed to estimate an arbitrary function with a given level of accuracy grows exponentially with respect to the number of input variables (i.e., dimensionality) of the function. • Ex : volume de la bordure d’un hypercube de dimension 10 (10% de l’arête) ? Fléau de la dimensionalité • We can ‘discover’ meaningless random patterns if we look through too many possibilities • “Bonferroni’s principle”; exemplified by Birthday Paradox • NSA example: say we consider suspicious when a pair of (unrelated) people stayed at least twice in the same hotel on the same day • suppose 109 people tracked during 1000 days • each person stays in a hotel 1% of the time (1 day out of 100) • each hotel holds 100 people (so need 105 hotels) -> if everyone behaves randomly (i.e. no terrorist), can we still detect something suspicious? Probability that a specific pair of people visit same hotel on same day is 10-9; probability this happens twice is thus 10-18 (tiny), ... but there are many possible pairs => Expected number of “suspicious” pairs is actually about 250,000! Motifs aléatoires / Random patterns Entrâinement & test / Training & testing Jeu d’entraînement Population étudiée Jeu de Test Application du modèle après entraînement • Supervised learning ( ) • Prediction • Classification (discrete labels), Regression (real values) • Unsupervised learning ( ) • Clustering • Probability distribution estimation • Finding association (in features) • Dimension reduction • Semi-supervised learning • Reinforcement learning • Decision making (robot, chess machine) Familles d’apprentissage statistique Panorama Panorama 34 Supervised learning Unsupervised learning Semi-supervised learning Analyse supervisée / Supervised learning Analyse non supervisée / Unsupervised learning • Linear classifier (numerical functions) • Parametric (Probabilistic functions) • Naïve Bayes, Gaussian discriminant analysis (GDA), Hidden Markov models (HMM), Probabilistic graphical models • Non-parametric (Instance-based functions) • K-nearest neighbors, Kernel regression, Kernel density estimation, Local regression • Non-metric (Symbolic functions) • Classification and regression tree (CART), decision tree • Aggregation • Bagging (bootstrap + aggregation), Adaboost, Random forest Exemples d’analyses supervisées Techniques d’apprentissage – un exemple simple (*) (*) (*) (*) (*) Overfitting in regression... a = w0 + w1*F linear model: Overfitting in regression... a = w0 + w1*F+w2*F2 quadratic model: Overfitting in regression... cubic model (degree 3) Overfitting in regression... degree 10 Overfitting in regression... degree 15 overfitting! • Between two models / hypotheses which explain as well the data, choose the simplest one • In Machine Learning: • we usually need to tradeoff between • training error • model complexity • can be formalized precisely in statistics (bias-variance tradeoff, etc.) Rasoir d’Occam Sur/Sous-ajustement Erreur de prédiction Complexité du modèle petite grande Erreur d’entraînement Erreur de test Grand biais Petite variance Petit biais Grande variance sous-apprentissage Sur-apprentissage • UCI Repository: http://www.ics.uci.edu/~mlearn/MLRepository.html • UCI KDD Archive: http://kdd.ics.uci.edu/summary.data.application.html • Statlib: http://lib.stat.cmu.edu/ • Delve: http://www.cs.utoronto.ca/~delve/ • Kaggle: https://www.kaggle.com/datasets Resources: Datasets uploads/Ingenierie_Lourd/ ml-wic 1 .pdf