Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

1 Apprentissage de représentation et apprentissage par renforcement pour la nav

1 Apprentissage de représentation et apprentissage par renforcement pour la navigation autonome 2 Few-Shot Learning : Comment apprendre avec peu de données annotées ? 3 Suivi d’objets par ré-identification 4 Prédiction de cartes de profondeur à partir d’images monoculaires 5 Segmentation panoptique 3D 6 Suivi d’instances dans les données 3D LIDAR par apprentissage profond 7 Détection d’événements anormaux dans les vidéos 8 Adaptation de domaine pour la détection et la segmentation: du capteur pinhole au capteur fisheye 9 Suivi visuel par segmentation d’instances et apprentissage profond Offres de stages 2021 AI - Deep Learning Computer Vision - Scene Understanding Laboratoire de Vision et d’Apprentissage pour l’analyse de scène www.kalisteo.eu e-mail: lva-stages@cea.fr Laboratoire de Vision et d’Apprentissage pour l’analyse de scène CEA Saclay 91191 Gif-sur-Yvette France http://www.kalisteo.eu Contact: Jaonary Rabarisoa Jaonary.rabarisoa@cea.fr +33 (0)1 69 08 01 29 STAGE 2021 Réf : LVA-2021-S1 Apprentissage de représentation et apprentissage par renforcement pour la navigation autonome Présentation du laboratoire d’accueil Basé à Paris-Saclay, le CEA List est l’un des quatre instituts de recherche technologique de CEA Tech, direction de la recherche technologique du CEA. Dédié aux systèmes numériques intelligents, il contribue au développement de la compétitivité des entreprises par le développement et le transfert de technologies. L’expertise et les compétences développées par les 800 ingénieurs-chercheurs et techniciens du CEA List permettent à l’Institut d’accompagner chaque année plus de 200 entreprises françaises et étrangères sur des projets de recherche appliquée s’appuyant sur 4 programmes et 9 plateformes technologiques. 21 start-ups ont été créées depuis 2003. Labellisé Institut Carnot depuis 2006, le CEA List est aujourd’hui l’institut Carnot Technologies Numériques. Le Laboratoire de Vision et Apprentissage pour l’analyse de scène (LVA) mène ses recherches dans le domaine de la Vision par Ordinateur (Computer Vision) selon quatre axes principaux : - La reconnaissance visuelle (détection et/ou segmentation d’objets, de personnes, de patterns ; détection d’anomalies ; caractérisation) - L’analyse du comportement (reconnaissance de gestes, d’actions, d’activités, de comportements anormaux ou spécifiques pour des individus, un groupe, une foule) - Annotation intelligente (annotation à grande échelle de données visuelles 2D/3D de manière semi- automatique) - Perception et décision (processus de décision markovien, navigation) Description du stage L’apprentissage par renforcement a permis de développer des algorithmes capables de battre les humains dans différentes tâches de contrôle et prise de décision comme les jeux Atari ou les jeux de plateau (Go, Echecs). Son utilisation pour la conduite autonome est prometteur mais souffre de plusieurs problèmes : - Il est difficile de résoudre le problème d’optimisation associé à ces algorithmes quand les espaces d’état et d’action sont de très grande dimension. - La phase d’apprentissage nécessite beaucoup d’interaction entre l’agent et l’environnement. C’est un processus difficile à mettre en œuvre dans le cas de la conduite autonome. - Les algorithmes d’apprentissage par renforcement sont souvent perçus comme une boite noire. Or les notions d’explicabilité et d’interprétabilité sont primordiales pour faire accepter ces solutions dans le monde de l’automobile et par les usagers. Ce stage a pour objectif d’apporter des solutions à ces problèmes. Notamment, en étudiant les méthodes d’apprentissage de représentation pour réduire la dimensionnalité des espaces d’état et d’action. Pour limiter l’interaction avec l’environnement il est possible de s’appuyer sur les techniques d’apprentissage hors-ligne (offline reinforcement learning). Finalement, la notion d’interprétabilité peut être introduite dans ces algorithmes en ajoutant des tâches à niveau sémantique élevé dans ces algorithmes (prédiction de trajectoire, segmentation de la scène, … ). Il sera demandé au stagiaire de faire une étude bibliographique, de proposer et d’implémenter une solution aux différents problèmes soulevés et finalement procéder à une validation expérimentale. Keywords : computer vision, deep learning, reinforcement learning, off-line reinforcement learning, self- supervised learning, interpretability. Laboratoire de Vision et d’Apprentissage pour l’analyse de scène CEA Saclay 91191 Gif-sur-Yvette France http://www.kalisteo.eu Contact: Jaonary Rabarisoa Jaonary.rabarisoa@cea.fr +33 (0)1 69 08 01 29 Références [1] Learning by cheating. Dian Chen et al. https://arxiv.org/abs/1912.12294. [2] Interpretable End-to-end Urban Autonomous Driving with Latent Deep Reinforcement Learning. Jianyu Chen et al. https://arxiv.org/abs/2001.08726. [3] An Optimistic Perspective on Offline Reinforcement Learning. Rishabh Agarwal et al. https://arxiv.org/abs/1907.04543. Profil du candidat/de la candidate Niveau demandé : Ingénieur, Master 2 Ce stage ouvre la possibilité de poursuite en thèse et ingénieur R&D dans notre laboratoire. Durée : 6 mois Rémunération : entre 700 € et 1300 € suivant la formation. Compétences requises : - Vision par ordinateur - Apprentissage automatique (deep learning) - Reconnaissance de formes - C/C++, Python - La maîtrise d’un framework d’apprentissage profond (en particulier Tensorflow ou PyTorch) est un plus. Laboratoire de Vision et d’Apprentissage pour l’analyse de scène CEA Saclay 91191 Gif-sur-Yvette France http://www.kalisteo.eu Contact: Romaric Audigier romaric.audigier@cea.fr +33 (0)1 69 08 01 06 STAGE 2021 Réf : LVA-2021-S2 Few-Shot Learning : Comment apprendre avec peu de données annotées ? Présentation du laboratoire d’accueil Basé à Paris-Saclay, le CEA List est l’un des quatre instituts de recherche technologique de CEA Tech, direction de la recherche technologique du CEA. Dédié aux systèmes numériques intelligents, il contribue au développement de la compétitivité des entreprises par le développement et le transfert de technologies. L’expertise et les compétences développées par les 800 ingénieurs-chercheurs et techniciens du CEA List permettent à l’Institut d’accompagner chaque année plus de 200 entreprises françaises et étrangères sur des projets de recherche appliquée s’appuyant sur 4 programmes et 9 plateformes technologiques. 21 start-ups ont été créées depuis 2003. Labellisé Institut Carnot depuis 2006, le CEA List est aujourd’hui l’institut Carnot Technologies Numériques. Le Laboratoire de Vision et Apprentissage pour l’analyse de scène (LVA) mène ses recherches dans le domaine de la Vision par Ordinateur (Computer Vision) selon quatre axes principaux : - La reconnaissance visuelle (détection et/ou segmentation d’objets, de personnes, de patterns ; détection d’anomalies ; caractérisation) - L’analyse du comportement (reconnaissance de gestes, d’actions, d’activités, de comportements anormaux ou spécifiques pour des individus, un groupe, une foule) - Annotation intelligente (annotation à grande échelle de données visuelles 2D/3D de manière semi- automatique) - Perception et décision (processus de décision markovien, navigation) Description du stage De nombreuses tâches en vision par ordinateur sont aujourd’hui réalisées avec succès par les méthodes d’apprentissage profond (deep learning). C’est le cas par exemple de la détection et la reconnaissance d’objets dans les images, la classification d’images, la reconnaissance de personnes ou d’activités… utiles dans divers domaines d’application (vidéosurveillance, conduite autonome, imagerie médicale, etc.). L’inconvénient de ces approches basées réseaux de neurones profonds est que leur entrainement supervisé requiert de grandes quantités de données annotées. D’une part, l’annotation manuelle de données est une tâche longue et couteuse. D’autre part, ces données peuvent être rares ou difficiles à collecter. Il est alors nécessaire d’avoir des méthodes d’apprentissage qui se basent sur très peu d’exemples. Deux stratégies principales se distinguent. L’une consiste à apprendre sur une seule tâche globale des caractéristiques suffisamment génériques pour résoudre la tâche élémentaire cible (feature reuse). Il s’agit alors de régler finement les dernières couches (fine-tuning) d’un réseau de neurones existant sur les données rares ciblées [Wang20]. L’utilisation de données augmentées ou non annotées (lorsque celles-ci ne sont pas rares) rend alors l’apprentissage plus générique. L’autre stratégie est le paradigme de méta-apprentissage (meta-learning). Il consiste à apprendre à apprendre de multiples tâches élémentaires à partir de peu de données, pour ensuite s’adapter facilement à la tâche élémentaire ciblée [Finn17]. Dans le cas où les données sont nombreuses mais les annotations rares, certaines méthodes exploitent l’information des données non annotées [Ren18, Gidaris19]. L’objectif de ce stage est d’explorer des stratégies basées sur les paradigmes d’apprentissage semi-supervisé et/ou auto-supervisé qui permettent de répondre à la problématique du few-shot learning. On s’intéressera, en particulier, aux tâches de classification d’images et de détection d’objets [Karlinsky19, Yan19]. Dans un premier temps, l’appropriation des méthodes de l’état de l’art permettra d’analyser leurs avantages et leurs limitations. Dans un second temps, de nouvelles méthodes seront développées. Elles seront ensuite évaluées et comparées à l’état de l’art sur divers jeux de données afin de quantifier l’amélioration des performances, la dépendance au nombre d’échantillons annotés/non-annotés, ainsi que la capacité de généralisation face aux types de données. Les résultats du stage pourront faire l’objet de publication. Keywords : computer vision, deep learning, few-shot learning, meta-learning, semi-supervised learning, self- supervised learning. Laboratoire de Vision et d’Apprentissage pour l’analyse de scène CEA Saclay 91191 Gif-sur-Yvette France http://www.kalisteo.eu Contact: Romaric Audigier romaric.audigier@cea.fr +33 (0)1 69 08 01 06 Fig. 1 La méthode [Ren18] propose une approche semi-supervisée : Apprendre à reconnaitre de nouvelles classes d’objets à partir de peu d’exemples annotés et des données non annotées, dont de multiples distracteurs. Références [Wang20] Wang X. et al. (2020) Frustratingly Simple Few-Shot Object Detection. ICML. [Finn17] Finn C. et al. (2017). Model-agnostic meta-learning for fast adaptation of deep networks. ICML. [Ren18] Ren M et al. (2018) Meta-learning for semi-supervised few-shot classification. ICLR. [Gidaris19] Gidaris S. et al. (2019) Boosting Few-Shot Visual Learning with Self-Supervision. ICCV. [Karlinsky19] Karlinsky L. et al. (2019) Repmet : Representative-based metric learning for classification and few-shot object detection. CVPR. [Yan19] Yan X. et al. (2019) Meta R-CNN : Towards General Solver for Instance-Level uploads/Management/ cea-list-stages2021-lva-all-min.pdf