Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

Philippe GiguèreGLO-4001/7021INTRODUCTION À LA ROBOTIQUE MOBILE Capteurs Visuel

Philippe GiguèreGLO-4001/7021INTRODUCTION À LA ROBOTIQUE MOBILE Capteurs Visuels (Automne 2019) Pourquoi on s’intéresse à la vision en robotique mobile? • Mot-clef toujours élevé dans les conférences robotiques • Humains s’en servent (preuve que ça fonctionne) • Capteur passif • Retourne beaucoup d’information – millions pixels – position objet – couleur – texture • Grande portée • Peu coûteux • Environnements sont conçus pour employer la vision – panneaux indicateurs, feux de circulation, etc. 2 Vision : problème difficile • 40 ans de travail, résultats mitigés • Utilise 50% des ressources du cerveau humain – indique grande complexité du problème • Toujours pas de solution générale – image 2D monde 3D n’existe pas (tout à fait) encore – nécessite une connaissance préalable de la taille des objets 3 Vision : utilité en robotique mobile • S’en sert pour : – localisation avec repères visuel – classification des obstacles – fermeture de boucle, etc… • Interpréter des parties de l’image, pas toute la scène – active vision (mécanique, traitement image, fovéa) 4 œil agile Image : processus de capture • Pas juste avoir une surface photosensible : • Il faut bloquer la majorité des rayons : 5 tiré de : Autonomous Mobile Robots Margarita Chli, Paul Furgale, Marco Hutter, Martin Rufli, Davide Scaramuzza, Roland Siegwart surface photosensibledonnera image floue plusieurs rayons incidents par « pixel » surface photosensible barrière ouverturedonnera image nette un seul rayon incident par « pixel » Modèle caméra à sténopé (pinhole) • Approximer notre caméra + lentille comme une boîte avec un seul petit trou GLO-4001/7021 Introduction à la robotique mobile 6 papier photo + caméra sténopé Modèle de caméra sténopé 7 Caméra physique : image formée à l’envers Déplacer le plan image en avant du trou : image à l’endroit (mais non-réalisable physiquement) Nomenclature caméra perspective 8 O : point principal Zc : axe optiquecoord.plan image u v adapté de : Autonomous Mobile Robots Margarita Chli, Paul Furgale, Marco Hutter, Martin Rufli, Davide Scaramuzza, Roland Siegwart C : centre optiquePlan image(perpendiculaire à l’axe optique) distance focale (interception de l’axe optique avec plan image) (par convention, les axes du plan image sont nommées u et v) Caméra perspective : génération d’une image GLO-4001/7021 Introduction à la robotique mobile 9 Théorème de Thalès Az Ax x y z A u f A v A          , y x z z A A u v f A f A   coordonnées plan image u Z est l’axe optique par convention Exemple de projection • Vous avez un point situé aux coordonnées* (Ax=3, Ay=0, Az=20), en mètres • La distance focale f de la caméra est de 50 mm • À quelles coordonnées (u,v)** du plan image, en mm, ce point apparaîtra-t-il? • (Notez comment les unités en m s’annulent, et ne dépendent que des unités mm de la focale) 10 *coordonnées de la caméra, avec centre optique C à (0,0,0) et axe optique = Zc x y z A u f A v A          3 50 0 20 . 7 5 0 m m m mm mm               **en supposant que l’origine de (u,v) est au point principal O Caméra perspective : lignes • Une ligne droite dans le monde apparaît comme une ligne droite dans le plan image. • Des lignes parallèles vont se joindre au point de fuite (vanishing point) GLO-4001/7021 Introduction à la robotique mobile 11 point de fuite Caméra 2D : perte de 3D GLO-4001/7021 Introduction à la robotique mobile 12 Az Ax • Problème mal posé (plusieurs solutions pour l’inverse) u Jouer des tours… GLO-4001/7021 Introduction à la robotique mobile 13 Capteur numérique : plan image en pixel 14coordonnéesplan image(perpend. à Zc) u v adapté de : Autonomous Mobile Robots Margarita Chli, Paul Furgale, Marco Hutter, Martin Rufli, Davide Scaramuzza, Roland Siegwart Pour une image numérique, l’origine (u,v) est souvent le coin supérieur gauche. En tenir compte dans les équations : 0 X Z A u u f A   0 Y Z A v v f A   (avec f défini en pixel) (u0,v0) (Note matlab : les fonctions comme imagesc ou imshow vont avoir les axes intervertis, et l’axe vertical est inversé) Le point principal O sera situé à la coordonnée (u0,v0). Valeur de la focale f • Valeur précise change d’une caméra à l’autre • Sera constante (sauf si zoom optique) • On l’identifie via calibration • Calibration rudimentaire* : 15 *Pour calibration complète, voir GIF-4100 Vision Numérique règle de 6 pouces 510 pixels 510 6 25 pixels pouces f pouces  25510 2125 6 f pixels pixels  placée à 25 pouces de la caméra Note: on assume ici des pixels carrés sur la celluleperpendiculaire à Z GLO-4001/7021 Introduction à la robotique mobile 16 Coordonnées homogènes & Généralisation du modèle de projection Math peu élégante • Caméra est une fonction non-linéaire en Az : • Chercher quelque chose plus élégant : GLO-4001/7021 Introduction à la robotique mobile 17 ' ':coordonée plan image A: coordonnées point 3D P : modèle de caméra A PA A  x y z A u f A v A          Coordonnées homogènes • Représentation point 2D avec 3 composantes: x = (x1, x2, x3) (x1/x3, x2/x3) (3, 2) (3, 2, 1) ou (6, 4, 2) ou… • Représentation point 3D avec 4 composantes: x = (x1, x2, x3, x4) (x1/x4, x2/x4, x3/x4) (2, 5, 7) (2, 5, 7, 1) ou (6, 15, 21, 3) ou … 18 homogène cartésien (utile pour rotations et translations, à venir) Caméra perspective en coord. homogène • ~ : signifie identique à un facteur d’échelle GLO-4001/7021 Introduction à la robotique mobile 19 1 2 2 4 3 4 6 8             ~ ' 1 0 0 0 0 1 0 0 1 0 0 1/ 0 1 x y z A P A A u A v A f                            ~ ~ coordonnées homogènes coordonnées d’un point dans l’espace 3D position dans le plan image (matrice intrinsèque) Dérivation de la matrice P perspective GLO-4001/7021 Introduction à la robotique mobile 20 / / 1 1 x z y z fA A u v fA A                 factorise / x y z z A f A A A f              / x y z A A A f             échelle 1 0 0 0 0 1 0 0 0 0 1/ 0 1 x y z A A A f                        Thalès Caméra perspective : exemple • Exemple GLO-4001/7021 Introduction à la robotique mobile 21 1 2 3 1 0 0 0 0 1 0 0 0 0 1/ 0 1 x y z A x A x A x f                                  coordonnées homogènes Point dans l’espace à [4 6 2]T[4 6 2 1]T 1 0 0 0 0 1 0 0 0 0 1 4 4 6 20 0 0 6 2 1                            focale f = 0.1 Passe d’homogène en cartésien dans plan image [4 6 20]T [0.2 0.3]T Autres types de projection de caméra • Perspective faible: – distance moyenne • Orthographique : – rayons parallèles 22 z ' 1 0 0 0 0 1 0 0 1 0 0 0 / 1 y z x A P A A u A v A z f                            ~ ~ ' 1 0 0 0 0 1 0 0 1 0 0 0 1 1 x y z A P A A u A v A                            ~ ~ distance Az n’intervient plus 4 km altitude 20,000 km satellite montagne Exemples de projection GLO-4001/7021 Introduction à la robotique mobile 23 Perspective Perspective faible uploads/Management/ computer-vision.pdf