Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

28/11/2021 1 Apprentissage Automatique IGE 42 - 5éme année (2021-2022) Spéciali

28/11/2021 1 Apprentissage Automatique IGE 42 - 5éme année (2021-2022) Spécialité : Télécoms et Technologies Numériques IGE 42 - 5éme année (2021-2022) Spécialité : Télécoms et Technologies Numériques Dr. FEZZA S. Dr. FEZZA S. © FEZZA S. v21‐22 Objectifs Objectifs 2 Machine Learning • 2 grands objectifs du cours apprendre les fondements théoriques savoir les mettre en pratique • Appréhender les bases des méthodes de classification et d'apprentissage machine. • Être capables de distinguer les méthodes d'apprentissage, ainsi que leurs contextes d'application. • Mettre en pratique des méthodes de base en apprentissage. • Être capables de modéliser un problème de classification réel et complexe par un modèle d'apprentissage statistique approprié. 28/11/2021 2 © FEZZA S. v21‐22 Autres cours Autres cours 3 Machine Learning • Liens avec d’autres cours • Algèbre • Probabilités et statistiques • Analyse de données • Traitement et analyse de données massives © FEZZA S. v21‐22 TP TP 4 Machine Learning • Homework • Code (avec commentaries) • Rapport (5 pages max) • Pour chaque chapitre • Binôme • fezza.student@gmail.com 28/11/2021 3 © FEZZA S. v21‐22 Ressources Ressources 5 Machine Learning © FEZZA S. v21‐22 Plan Plan Introduction Régression Apprentissage non supervisé Séparateurs a vaste marge Arbres de décision Apprentissage bayésien Réseaux de neurones artificiels Modèles de Markov cachés Apprentissage par renforcement Machine Learning 6 28/11/2021 4 © FEZZA S. v21‐22 Plan Plan Introduction Régression Apprentissage non supervisé Séparateurs a vaste marge Arbres de décision Apprentissage bayésien Réseaux de neurones artificiels Modèles de Markov cachés Apprentissage par renforcement Machine Learning 7 © FEZZA S. v21‐22 Objectifs Objectifs • Définir AI, ML, DL • Intérêt du ML • Caractérisation des techniques d’apprentissage machine • Critères de performance • Identifier si un problème relève ou non du ML. • Donner des exemples de cas concrets relevant de grandes classes de problèmes de ML. 8 Machine Learning 28/11/2021 5 © FEZZA S. v21‐22 ML Applications ML Applications 9 Machine Learning © FEZZA S. v21‐22 Artificial intelligence, machine learning, and deep learning Artificial intelligence, machine learning, and deep learning 10 Machine Learning 28/11/2021 6 © FEZZA S. v21‐22 Some quotes Some quotes 11 Machine Learning © FEZZA S. v21‐22 History of ML History of ML 12 Machine Learning 28/11/2021 7 © FEZZA S. v21‐22 Pourquoi utilisé le ML? Pourquoi utilisé le ML? • 2 situations possibles : 1. On connait le calcul à effectuer pour résoudre notre problème: Dans ce cas, c’est facile! On entre ce calcul dans l’ordinateur (c’est ce qu’on appelle la programmation) et l’ordinateur nous donne le résultat. Exemple : Déterminer la structure d’un pont 2. On ne connait pas le calcul qui résout notre problème: On est bloqué. Impossible de donner à un ordinateur un calcul que nous ne connaissons pas. Exemples : Reconnaitre un visage sur une photo, prédire le cours de la bourse, éliminer le cancer, conduire une voiture • Le ML a justement été inventé pour venir débloquer la situation 2 (quand on ne connait pas le calcul), en utilisant une technique audacieuse Laisser la Machine apprendre à partir d’expériences 13 Machine Learning © FEZZA S. v21‐22 Pourquoi utilisé le ML? Pourquoi utilisé le ML? • Le ML peut servir à résoudre des problèmes • que l’on ne sait pas résoudre, • que l’on sait résoudre, mais qu’on sait pas formaliser en termes algorithmiques (c’est le cas par exemple de la reconnaissance d’images ou de la compréhension du langage naturel), • que l’on sait résoudre, mais avec des procédures beaucoup trop gourmandes en ressources informatiques (c’est le cas par exemple de la prédiction d’interactions entre molécules de grande taille, pour lesquelles les simulations sont très lourdes). • Le ML est donc utilisé quand les données sont abondantes (relativement), mais les connaissances peu accessibles ou peu développées. 14 Machine Learning 28/11/2021 8 © FEZZA S. v21‐22 Définition du ML Définition du ML • L’apprentissage automatique ou l’apprentissage par machine (Machine Learning) s'intéresse à la conception, l'analyse, l'implémentation et l’application de programmes d’ordinateur capables de s’améliorer, au fil du temps, soit sur la base de leur propre expérience, soit à partir des données antérieures fournies par d’autres programmes. 15 Machine Learning • More engineering‐oriented definition: A computer program is said to learn from experience E with respect to some task T and some performance measure P, if its performance on T, as measured by P, improves with experience E. —Tom Mitchell, 1997 © FEZZA S. v21‐22 Définition du ML Définition du ML 16 Machine Learning 28/11/2021 9 © FEZZA S. v21‐22 Définition du ML Définition du ML 17 Machine Learning © FEZZA S. v21‐22 Définition du ML Définition du ML 18 Machine Learning • How can we learn to perform image classification? Image Classification Task 28/11/2021 10 © FEZZA S. v21‐22 Définition du ML Définition du ML 19 Machine Learning • How can we learn to perform image classification? Image Classification Task Data Experience © FEZZA S. v21‐22 Définition du ML Définition du ML 20 Machine Learning Image Classifier Dog Cat ML model Image Classifier ML model Accuracy Performance measure 28/11/2021 11 © FEZZA S. v21‐22 Définition du ML Définition du ML 21 Machine Learning • How can we learn to perform image classification? Image Classification Task Data Experience Accuracy Performance measure © FEZZA S. v21‐22 Example 1: Handwritten digit classification Example 1: Handwritten digit classification • Comment développer une intelligence artificielle ? Exemple : reconnaître des caractères manuscrits 22 Machine Learning • Par énumération de règles ? Si intensité du pixel à la position (15,24) est plus grand que 50, et pixel à la position ... alors c’est un «3» • Trop fastidieux, difficile de couvrir tous les cas d’espèce 28/11/2021 12 © FEZZA S. v21‐22 Example 1: Handwritten digit classification Example 1: Handwritten digit classification • Comment développer une intelligence artificielle ? Exemple : reconnaître des caractères manuscrits 23 Machine Learning • En donnant à l’ordinateur la capacité d’apprendre à le faire! • Laisser l’ordinateur faire des essais et apprendre de ses erreurs Apprentissage Automatique / Machine Learning © FEZZA S. v21‐22 Example 1: Handwritten digit classification Example 1: Handwritten digit classification 24 Machine Learning MNIST dataset • E: Experience 28/11/2021 13 © FEZZA S. v21‐22 Example 1: Handwritten digit classification Example 1: Handwritten digit classification • P: Performance measure Classification: 25 Machine Learning ... et l’algorithme retourne un «programme» capable de généraliser à de nouvelles données données d’entraînement vs. généralisation © FEZZA S. v21‐22 Example 2: Spam emails Example 2: Spam emails 26 Machine Learning 28/11/2021 14 © FEZZA S. v21‐22 Example 2: Spam emails Example 2: Spam emails 27 Machine Learning © FEZZA S. v21‐22 ML: a new programming paradigm ML: a new programming paradigm • Could a computer surprise us? Rather than programmers crafting data‐processing rules by hand, could a computer automatically learn these rules by looking at data? 28 Machine Learning • A machine‐learning system is trained rather than explicitly programmed. It’s presented with many examples relevant to a task, and it finds statistical structure in these examples that eventually allows the system to come up with rules for automating the task. • Machine Learning is the science of programming computers so they can learn from data. (model) 28/11/2021 15 © FEZZA S. v21‐22 Machine Learning Vs Traditional Programming Machine Learning Vs Traditional Programming 29 Machine Learning © FEZZA S. v21‐22 Ingrédients du machine learning Ingrédients du machine learning • Le machine learning repose sur deux piliers fondamentaux : • Les données, qui sont les exemples à partir duquel l’algorithme va apprendre • L’algorithme d’apprentissage, qui est la procédure que l’on fait tourner sur ces données pour produire un modèle. On appelle entraînement le fait de faire tourner un algorithme d’apprentissage sur un jeu de données (training set). • Ces deux piliers sont aussi importants l’un que l’autre. D’une part, aucun algorithme d’apprentissage ne pourra créer un bon modèle à partir de données qui ne sont pas pertinentes – c’est le concept garbage in, garbage out qui stipule qu’un algorithme d’apprentissage auquel on fournit des données de mauvaise qualité ne pourra rien en faire d’autre que des prédictions de mauvaise qualité. D’autre part, un modèle appris avec un algorithme inadapté sur des données pertinentes ne pourra pas être de bonne qualité. • Le travail de machine learner ou de data scientist est un travail d’ingénierie consistant à préparer les données afin d’éliminer les données aberrantes, gérer les données manquantes, choisir une représentation pertinente, etc. 30 Machine Learning 28/11/2021 16 © FEZZA S. v21‐22 Notations Notations • Ensemble d’entraînement (training set), entrée (input), cible (target) on fournit à l’algorithme des données d’entraînement ... on note l’ensemble d’entraînement (training set) 31 Machine Learning = Number of training examples = ith “input” variable / features = ith “output” variable / “target” variable © FEZZA S. v21‐22 Comment apprendre ? Comment apprendre ? • Mais comment apprendre ? Pour donner à un ordinateur la capacité d’apprendre, on utilise des méthodes d’apprentissage qui sont fortement inspirées de la façon dont nous, les êtres humains, apprenons à faire des choses. Parmi ces méthodes, on compte : uploads/Industriel/ chapter1-ml-21-22 1 .pdf