Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

Vision et perception pour la robotique David Filliat Unité Informatique et Ingé

Vision et perception pour la robotique David Filliat Unité Informatique et Ingénierie des Systèmes Équipe Robotique et Vision David Filliat – david.filliat@ensta-paristech.fr SAR - Vision et perception pour la robotique 2 Objectifs du cours Perception pour la robotique – Perception 2D, passive (Vision) David Filliat – david.filliat@ensta-paristech.fr SAR - Vision et perception pour la robotique 3 Objectifs du cours Perception pour la robotique – Perception 3D, active (Télémétrie laser) David Filliat – david.filliat@ensta-paristech.fr SAR - Vision et perception pour la robotique 4 Objectifs du cours Perception pour la robotique – Besoin de robustesse • Conditions d’observation changeantes • Environnement changeant – Capacité de mouvement • Estimation du mouvement • Possibilité de choisir le point de vue • Perception active – Besoin de connaissance de l’environnement • Part statique : cartographie, reconstruction 3D • Part dynamique : détection, suivi d’objets, évitement d’obstacles • Cartographie sémantique David Filliat – david.filliat@ensta-paristech.fr SAR - Vision et perception pour la robotique 5 Présentation générale Perception 2D : – David Filliat & Bogdan Stanciulescu (4 séances) Perception active et 3D – François Goulette & Jean-Emmanuel Deschaud (3 séances) Examen écrit Responsables cours : – David Filliat david.filliat@ensta-paristech.fr – François Goulette francois.goulette@mines-paristech.fr David Filliat – david.filliat@ensta-paristech.fr SAR - Vision et perception pour la robotique 6 Présentation générale – Perception 2D S1 – David Filliat (DF) – Introduction à la vision 2D : vision, robotique, plan du cours (30 min) – Traitement d’images, détection de points d’intérêt (2h) – Détection et analyse du mouvement (1h30) S2 (DF) – Reconnaissance d’objets (Hough, apparence, bag-of-words) (2h) – TD Scilab (2h) S3 (DF) – Géométrie projective, modèle de caméra, reconstruction multi-vue (2h) – TD Scilab (2h) S4 - Bogdan Stanciulescu (BS) – Détection d’objets par techniques hybrides par vision / apprentissage artificiel (Adaboost, SVM). – TD Seville sur détection automatique (visages, objets) David Filliat – david.filliat@ensta-paristech.fr SAR - Vision et perception pour la robotique 7 Présentation générale – Perception 3D S5 – François Goulette (FG) – Introduction à la perception active – Systèmes de perception 3D et recalage – TD Scilab (recalage) 2h S6 (FG) – Points d’intérêt 3D et segmentation (2h cours) – TD Scilab (extraction normales, segmentation basée normales, extraction de plans ?…) S7 (JED) – Reconstruction et modélisation (2h cours) – 2h TD Meshlab David Filliat – david.filliat@ensta-paristech.fr SAR - Vision et perception pour la robotique 8 Organisation pratique Lieux - Horaires – Lundis 14h00 – 18h, cours et TD – Lieu : MINES ParisTech – 60 bd. Saint Michel, RER Luxembourg. – Salles : cours : V334 (A CONFIRMER) ; TP informatique : L117 Ordre et contenu des séances – 25/09 : Accueil et présentation du cours 5’, S1 (David Filliat) – 02/10 : S2 (DF) – 09/10 : S3 (DF) – 16/10 : S4 (Bogdan Stanciulescu) – 23/10 : S5 (François Goulette) – 06/11 : S6 (FG) – 27/11 : S7 (Jean-Emmanuel Deschaud) – 4/12 : examen 2h Vision David Filliat Unité Informatique et Ingénierie des Systèmes Équipe Robotique et Vision David Filliat – david.filliat@ensta-paristech.fr SAR - Vision et perception pour la robotique 10 Qu’est-ce que la vision ? Percevoir le monde – Structure 3D – Composé d’objets – Efficacement interprété par l’être humain Info recueillie – Ensemble de points – Pixels -> info sur la lumière – Quantité et contenu spectral/couleur Comment « voir » les objets ? – Les objets n’existent pas sur la rétine – Interprétation -> processus visuel – Problème d’inversion mal posé David Filliat – david.filliat@ensta-paristech.fr SAR - Vision et perception pour la robotique 11 Inspiration biologique ? Vision humaine – Extrêmement complexe – Nombreuses zones du cerveau – Nombreuses capacités Vision par ordinateur – Bio inspirée ou non – Produire un modèle du cerveau / modèle fonctionnel – Produire un modèle algorithmique fonctionnellement similaire – Reproduit seulement un sous-ensemble David Filliat – david.filliat@ensta-paristech.fr SAR - Vision et perception pour la robotique 12 Quelques termes… Traitement d'images (Image Processing) – Manipulation dont l'entrée et la sortie sont des images. – Aide l'humain pour examiner les images. Analyse d'images (Image Analysis) – Analyse où l'entrée est une image mais la sortie est de l'information. Vision par ordinateur (Computer Vision) – Émule la vision humaine dans le but d'extraire de l'information ou de prendre une décision. – Une des branches du domaine de l'intelligence artificielle. David Filliat – david.filliat@ensta-paristech.fr SAR - Vision et perception pour la robotique 13 Intégration dans un système Image Connaissances a priori Interprétation Description pour la tâche Traitements Analyse Exploitation Modélisation Extraction de caractéristiques locales David Filliat Unité Informatique et Ingénierie des Systèmes Équipe Robotique et Vision David Filliat – david.filliat@ensta-paristech.fr SAR - Vision et perception pour la robotique 15 Objectifs de cette séance Trouver dans l’image des informations pertinentes pour – Reconstruire la 3D d’un objet / environnement – Cartographie d’environnement (amers) – Détection d’objets, de personnes – Reconnaissance de lieux David Filliat – david.filliat@ensta-paristech.fr SAR - Vision et perception pour la robotique 16 Objectifs de cette séance Besoins – Identifiables dans plusieurs images – Reconnaissables / mouvement caméra – Robustes aux changements de d’éclairage – Robustes aux déformations liées au mouvement David Filliat – david.filliat@ensta-paristech.fr SAR - Vision et perception pour la robotique 17 Représentation des images David Filliat – david.filliat@ensta-paristech.fr SAR - Vision et perception pour la robotique 18 Représentation des images Fonction – I(x,y) : valeur d’un pixel dans R en monochrome dans R3 en couleur X Y I(x,y) David Filliat – david.filliat@ensta-paristech.fr SAR - Vision et perception pour la robotique 19 Représentation des images Espaces colorimétriques RGB HSV Lab David Filliat – david.filliat@ensta-paristech.fr SAR - Vision et perception pour la robotique 20 Représentation des images Variations – I(x,y) è I(x,y) + α : luminosité globale – I(x,y) è λI(x,y) : changement de contraste – I(x,y) è I(x+a,y+b) : translation – I è A.I+b : transformation affine A= , b=0 : rotation € cos(θ) −sin(θ) sin(θ) cos(θ) $ % & ' ( ) è David Filliat – david.filliat@ensta-paristech.fr SAR - Vision et perception pour la robotique 21 Comparaison de points Trouver le point le plus similaire – Hypothèse de décalage en translation Comment comparer I1(x1,y1) et I2(x2,y2) ? Robustesse changement luminosité / contraste ? ? David Filliat – david.filliat@ensta-paristech.fr SAR - Vision et perception pour la robotique 22 Comparaison de points Sum of Squared Differences Cross corrélation – Invariance / luminosité et contraste David Filliat – david.filliat@ensta-paristech.fr SAR - Vision et perception pour la robotique 23 Application : stéréo-vision Validité ? Disparité Gauche Droite David Filliat – david.filliat@ensta-paristech.fr SAR - Vision et perception pour la robotique 24 Comparaison de points Tous les points ne sont pas égaux Comment trouver des points facilement identifiables ? David Filliat – david.filliat@ensta-paristech.fr SAR - Vision et perception pour la robotique 25 Détection de coins Détecteur de Moravec (1980) 1 : E(u,v) ≈ 0 2 : E(u,v) ≈ 0 sur la ligne 3 : E(u,v) > 0 partout coins = max locaux des min(E(u,v)) Limitations : comportement très anisotrope (contours non multiples de 45°) David Filliat – david.filliat@ensta-paristech.fr SAR - Vision et perception pour la robotique 26 Représentation des images Autre information ? Gradient David Filliat – david.filliat@ensta-paristech.fr SAR - Vision et perception pour la robotique 27 Gradient En 1D I Ix ? Ixx David Filliat – david.filliat@ensta-paristech.fr SAR - Vision et perception pour la robotique 28 Gradient En 2D – Masques de Sobel Dérivée selon x : Ix Dérivée selon y : Iy – En 2 passes: David Filliat – david.filliat@ensta-paristech.fr SAR - Vision et perception pour la robotique 29 Gradient Estimation du gradient – Norme: sqrt(Ix 2+Iy 2) Direction: atan2(Iy,Ix) Information disponible ? – Analyse du gradient sur une fenêtre -> SSD – Contour ? – Coin ? David Filliat – david.filliat@ensta-paristech.fr SAR - Vision et perception pour la robotique 30 Détection de contours Définition – Extremas du gradient dans la direction du gradient – Zéros du Laplacien Filtrage du gradient – Suppression des non maxima dans la direction du gradient David Filliat – david.filliat@ensta-paristech.fr SAR - Vision et perception pour la robotique 31 Détection de contours David Filliat – david.filliat@ensta-paristech.fr SAR - Vision et perception pour la robotique 32 Détection de contours Seuillage par hystérésis – Gradients > s1, connectés à des gradients > s2 David Filliat – david.filliat@ensta-paristech.fr SAR - Vision et perception pour la robotique 33 Détection de contours David Filliat – david.filliat@ensta-paristech.fr SAR - Vision et perception pour la robotique 34 Détection de coins Définition – Zones ou le gradient varie dans plusieurs directions Détecteur de Harris – Développement de Taylor de I – Réécriture de la SSD A David Filliat – david.filliat@ensta-paristech.fr SAR - Vision et perception pour la robotique 35 Détection de coins Détecteur de Harris – Décomposition de A en valeurs propres λ1 et λ2 – si λ1 ≈ 0 et λ2 ≈ 0 è uniforme – si λ1 ≈ 0 et λ2 > 0 è contour – si λ1 > 0 et λ2 > 0 è coin – Eviter la décomposition – R = Det(A) – k trace(A)2 = λ1λ2 – k(λ1+λ2)2 > 0 – k ≈ 0,06 – Coins uploads/Management/ uevision01-features-mouvement.pdf