Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

Marco Pedersoli Cours 1 - Apprentissage Machine Séance 1: Introduction au cours

Marco Pedersoli Cours 1 - Apprentissage Machine Séance 1: Introduction au cours ETS dep. de génie de la production automatisé Marco Pedersoli Cours Hiver 2018 1 Marco Pedersoli Cours 1 - 2 Organisation du cours: ●Présentation du prof ●Plan de cours ●Project Introduction à l’apprentissage machine ●Contexte historique ●Applications de l’apprentissage machine Plan de la séance: Marco Pedersoli Cours 1 - Biographie: Marco Pedersoli ● ● ● ● 3 Marco Pedersoli Cours 1 - Axes de recherche ● PhD, Autonomous University of Barcelona & Computer Vision Center Efficient Object Detection with Deformable Models ● Post-Doc, KU Leuven with Tinne Tuytelaars & Luc Van Gool Detection, Deformation, Deep Learning ● Post-Doc, INRIA-Grenoble with Jakob Verbeek & Cordelia Schmid Recurrent Nets and Attention Models Efficient Learning Efficient Data Data Exploration 4 Marco Pedersoli Cours 1 - Apprentissage Efficace ● DeepProposal: Hunting Objects by Cascading Deep Convolutional Layers, A. Ghodrati, A. Diba, M. Pedersoli, T. Tuytelaars, L. Van Gool, in ICCV 2015. ● A scalable 3D HOG model for fast object detection and viewpoint estimation, M. Pedersoli, T. Tuytelaars, in 3DV 2014. ● Toward Real-Time Pedestrian Detection Based on a Deformable Template Model, M. Pedersoli, J. Gonzàlez, X. Hu, X. Roca, in IEEE IITS 2013. ● Hierarchical Multiresolution Models for fast Object Detection, M. Pedersoli, Phd Thesis 2012. ● A Coarse-to-fine approach for fast deformable object detection, M. Pedersoli, A. Vedaldi, J. Gonzàlez, in CVPR 2011. ● Recursive Coarse-to-Fine Localization for fast Object Detection, M. Pedersoli, J. Gonzàlez, A. D. Bagdanov, J. J. Villanueva, in ECCV 2010. 5 Marco Pedersoli Cours 1 - Utilisation efficace des données ● Learning where to position parts in 3D, M. Pedersoli, T, Tuytelaars, in ICCV 2015. ● Weakly Supervised Object Detection with Convex Clustering, H. Bilen, M. Pedersoli, T. Tuytelaars, in CVPR 2015. ● Is 2D information enough for viewpoint estimation?, A. Ghodrati, M. Pedersoli, T. Tuytelaars, in BMVC 2014. ● Weakly Supervised Object Detection with Posterior Regularization, H. Bilen, M. Pedersoli, T. Tuytelaars, in BMVC 2014. ● Using a deformation field model for localizing faces and facial points under weak supervision, M. Pedersoli, R. Timofte, T. Tuytelaars, L. Van Gool in CVPR 2014. ● An Elastic Deformation Field Model for Object Detection and Tracking, M. Pedersoli, R. Timofte, T. Tuytelaars, L. Van Gool, IJCV 2014. ● Object Classification with Adaptable Regions, H. Bilen, M. Pedersoli, V. Namboodiri, T. Tuytelaars, L. Van Gool, in CVPR 2014. Deformable part model Deformation field model 6 Marco Pedersoli Cours 1 - 7 Marco Pedersoli Cours 1 - 8 Marco Pedersoli Cours 1 - 9 Marco Pedersoli Cours 1 - Exploration des données ● Combining where and what in change detection for unsupervised foreground learning in surveillance, I. Huerta, M. Pedersoli, J. Gonzàlez, A. Sanfeliu, in Pattern Recognition 2015. ● Areas of attention for Image captioning, M. Pedersoli, T. Lucas, J. Verbeek, C. Schmid, ICCV 2017. Marco Pedersoli Cours 1 - Membres et expertises − Ben Ayed, Ismail: Computer Vision, Machine Learning, Pattern Recognition, Combinatorial Optimization, Convex Optimization, Medical Image Analysis, Information Theory − Desrosiers, Christian: Data Mining; Medical Imaging; Collaborative Recommendation Systems; Network Analysis; Business Intelligence; Combinatorial Optimization − Granger, Eric: Adaptive Pattern Recognition; Multi-Classifier Systems; Computational Intelligence; Face Recognition; Video Surveillance; Biometrics − Koerich, Alessandro: Fine-Grained Classification; Computer Vision; Biometrics; Machine Learning; Musical Information Retrieval. − Sabourin, Robert: Document et Signature Analysis; Pattern Recognition and Learning; Information Fusion; Evolutionary Algorithms; Intelligent Bio-Watermarking − Toews, Matthew: Medical Image Analysis; Computer Vision; Machine Learning − Wong, Tony: Distributed Processing; Multi-Objective Evolutionary Optimization 11 Marco Pedersoli Cours 1 - Exemples de projets Gestion de écosystèmes Analyse des récifs coralliens Traitement automatique des chèques bancaires (vérification de signature) Biomarqueur rapide des documents numérisés Analyse multi-spectrale pour la télédétection des catastrophes naturelles Analyse d’images medicales Détection de visages in the “wild” 12 Marco Pedersoli Cours 1 - – PUCPR, UFPR, UFAM, UFT – Brésil – Télécom ParisTech, Eurecom et CNES – France – Center for Machine Vision Research – Finland – University of Stellenbosch – South Africa – Laboratoire de systèmes complexes – U de Montréal – CENPARMI – Concordia U – GREMM - Recherche sur les mammifères marins – Agriculture and Agri-Food Canada and Parcs Canada – Defence R&D Canada – Valcartier and Ottawa – Canada Border Services Agency – Genetec Inc., VIASAT GeoTechnologies Inc. – BancTec Inc., NVS Learning Inc. Face4 Systems Inc. Partenaires académiques et industriels Partenaires académiques et industriels 13 Marco Pedersoli Cours 1 -14 Organisation du cours: ●Présentation du prof ●Plan de cours ●Project Introduction à l’apprentissage machine ●Contexte historique ●Applications de l’apprentissage machine Plan de la séance: Marco Pedersoli Cours 1 - Prérequis ●Algèbre linéaire + Calcul ○Vecteurs et matrices et leurs dérivés ●Probabilités et statistiques ●Programmation ○Python, Matlab ○Programmation vectorielle: Matlab or Numpy ○Biblothèques: Pytorch, Tensorflow, Keras, etc.. 15 Marco Pedersoli Cours 1 - Communication ●Diapositives + Articles + Travaux: ○Moodle: https://ena.etsmtl.ca/ ●Questions: ○marco.pedersoli@etsmtl.ca 16 Marco Pedersoli Cours 1 - Organisation du cours ●Cours: ○13 séances de 3 heures chacune ○pas d’examens ○pas de laboratoire ○projet: ■ présentations orales ■ remises 17 Marco Pedersoli Cours 1 - Organisation du Cours ●S1: Introduction ●S2: Méthodes d’apprentissage ●S3: Réseaux de neurones ●S4: Propositions de projet ●S5: Entraînement I ●S6: Entraînement II ●S7: Réseaux convolutifs 18 ●S8: Réseaux récurrents ●S9: Détection et segmentation ●S10: Réduction de la complexité ●S11: Modélisation générative ●S12: App. par renforcement ●S13: Présentation des projets ●(S14: Présentation des projets) Marco Pedersoli Cours 1 - Organisation du Cours ●S2: Méthodes d’apprentissage ○ L’apprentissage machine ○ Types d’apprentissage ○ Types de supervision ○ Composants de l’apprentissage ○ Fonction de coût et Optimisation ○ Validation et Test ○ Mesures de performance 19 Entraînement Validation Sélection du Modèle Evaluation Paramètres Paramètres et hyper-paramètres Marco Pedersoli Cours 1 - Organisation du Cours ●S3: Réseaux de neurones ○ Architecture d’un neuron ○ Réseaux multicouches ○ Rétropropagation 20 Marco Pedersoli Cours 1 - Organisation du Cours ●S4: Propositions de projet ○Développement, amélioration ou évaluation d’une ou plusieures méthodes d’apprentissage machine ○Projet ouvert: à vous de proposer ● soit sur votre sujet de recherche ● soit sur un autre sujet 21 ? Marco Pedersoli Cours 1 - Organisation du Cours ●S5: Entraînement I ○ Gradient et autres méthodes ○ Coefficient d’apprentissage ○ Gradient Stochastique ○ Momentum ○ Algorithmes plus sophistiqués 22 Marco Pedersoli Cours 1 - Organisation du Cours ●S6: Entraînement II ○ Typologies de réseaux ○ Régularisation ○ Normalisation du lot ○ Augmentation des données 23 Marco Pedersoli Cours 1 - Organisation du Cours ●S7: Réseaux Convolutifs ○ Motivation ○ Convolution ○ Pooling ○ Architectures 24 Marco Pedersoli Cours 1 - Organisation du Cours ●S8: Réseaux Récurrents ○ Motivation ○ Réseau récurrent basique ○ Problème de disparition du gradient ○ LSTM et autres 25 Marco Pedersoli Cours 1 - Organisation du Cours ●S9: Détection et Segmentation ○ La famille R-CNN ■ slow R-CNN ■ fast R-CNN ■ faster R-CNN ○ Modèles de segmentation d’images 26 Marco Pedersoli Cours 1 - Organisation du Cours ●S10: Réduction de la complexité ○ Quantification ○ Réduction de paramètres ○ Régularisation (Sparseness inducing) 27 Marco Pedersoli Cours 1 - Organisation du Cours ●S11: Modélisation Générative ○ Auto-encodeurs ○ Pixel RNN et CNN ○ Réseaux adversaires génératifs 28 Marco Pedersoli Cours 1 - Organisation du Cours ●S12: Apprentissage par renforcement ○ Introduction ○ Programmation dynamique ○ Différence temporelle ○ Exemples 29 Marco Pedersoli Cours 1 - Organisation du Cours ●S13: Présentation des projets ○Motivation ○Bibliographie ○Méthode ○Expériences 30 ? Marco Pedersoli Cours 1 - Organisation du cours ●Bibliographie: ○ I. Goodfellow, Y. Bengio, A. Courville. Deep Learning, MIT Press, http://www.deeplearningbook.org. ○ M. Nielsen. Neural Networks and Deep Learning http://neuralnetworksanddeeplearning.com/index.html ○ C. M. Bishop. Pattern Recognition and Machine Learning, Springer. ○ S. Haykin. (2009). Neural Networks and Learning Machines, 3 e éd., Pearson Education. ○ R. S. Sutton, A. G. Barto. Reinforcement Learning: An Introduction 31 Marco Pedersoli Cours 1 -32 Organisation du cours: ●Présentation du prof ●Plan de cours ●Project Introduction à l’apprentissage machine ●Contexte historique ●Applications de l’apprentissage machine Plan de la séance: Marco Pedersoli Cours 1 - Organisation du cours ●Projet: ○Développement, amélioration ou évaluation d’une ou plusieures méthodes d’apprentissage machine ○Projet ouvert: à vous de proposer ■ soit sur votre sujet de recherche ■ soit sur un autre sujet 33 Marco Pedersoli Cours 1 - Organisation du cours ●Exemple du projet: ○Étude et évaluation des méthodes pour améliorer la performance des réseaux convolutifs (CNN) ■ Motivation: CNN constituent l'état de l’art dans la reconnaissance visuelle! ■ Focus: performance de classification, pas coût computationnel ■ Bibliographie: ResNet, DenseNet, CNN déformables, etc. ■ Analyse: avantages et inconvénients de chaque méthode ■ Expériences: base de données: CIFAR10, mesure de performance, résultats, comparaison avec l’état de l’art, discussion 34 Marco Pedersoli Cours 1 - Organisation du cours ●Évaluation du projet: ○Présentation (~3 mins): Proposition du projet (S4) [10%] ○À remettre (~3 pages): Proposition du projet (S5) [15%] ○À remettre(~7 pages): Synthèse de la littérature (S8) [30%] ○Présentation (~7 mins): Projet complet (S13) [15%] ○À remettre (~10 pages): Étude expérimentale (S14) [30%] 35 Marco Pedersoli Cours 1 -36 Organisation du cours: uploads/Industriel/ cours-1 4 .pdf