Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

H-2011 1 Design III / GEL-3004! Introduction à la vision artiﬁcielle Deuxième p

H-2011 1 Design III / GEL-3004! Introduction à la vision artiﬁcielle Deuxième partie Étalonnage géométrique de la caméra et du système ! Patrick Hébert Génie électrique et génie informatique Université Laval *collaboration Éric Samson 2  Le robot utilise la vision pour percevoir l'environnement Mise en contexte" H-2011 Design III / GEL-3004! 3  Qu'est-ce que la caméra permet au robot de faire? • Localiser les objets sur le terrain, i.e. évaluer la position relative au robot • Évaluer sa position et son orientation sur le terrain (par rapport aux bandes, coins, à la ligne rouge) • Localiser les objets.  Que fournit la caméra? • Des images (d’un certain type)  Que faut-il faire avec ces images? • Extraire et reconnaître des informations utiles dans les images (traitement des images) • les coins et les bandes de couleurs connues (régions et droites) • les objets de couleur connue • Établir la relation entre la position de ces zones d'intérêt de l'image et l'environnement (le terrain) incluant le robot Magny • la relation pixel  mm Mise en contexte" H-2011 Design III / GEL-3004! 4 Structure du cours" • Le cours d'introduction à la vision couvre en particulier 2 étapes du processus de vision qui sont nécessaires à l'atteinte de ces objectifs : 1. Reconnaître les objets dans les images Traitement des images (première partie) 2. Calculer la position des objets par rapport au robot Étalonnage géométrique de la caméra et du système (deuxième partie) • À ces deux blocs s’ajouteront quelques considérations sur la robotique et l’intelligence artificielle H-2011 Design III / GEL-3004! 5 Mise en contexte" RG Rc RP Magny RC : repère de la caméra RP : repère du préhenseur RG : repère global H-2011 Design III / GEL-3004! 6 Calcul de position : un aperçu" L'objectif est de connaître la position d'un objet dans l'espace à partir de sa position dans l'image Points image Modèle de caméra Paramètres du modèle Points 3D Étalonnage  L'étalonnage sert à déterminer les paramètres du modèle. Il est réalisé une seule fois H-2011 Design III / GEL-3004! 7 Plan de la présentation"  Notions de base – Formation des images – Modèle du sténopé (pinhole) – Coordonnées homogènes et transformations – Changements de repère • Étalonnage d'une caméra – Modèle utilisé – Procédure • Utilisation des paramètres – Calcul de la position des objets – Calcul de la position du robot H-2011 Design III / GEL-3004! 8 Formation des images" Sténopé (idéal) Problème : quantité de lumière insuffisante Caméra réelle Solution : utilisation d'une lentille H-2011 Design III / GEL-3004! 9 • Aberrations sphériques *tirée de Forsyth • Distorsion radiale: • négative (pincushion) • positive (barrel-type) • Aberration chromatique : la cause Problèmes reliés à l'utilisation d'une lentille : Formation des images" H-2011 Design III / GEL-3004! 10 Problèmes reliés à l'utilisation d'une lentille : Formation des images" H-2011 Design III / GEL-3004! 11 Formation des images" Sténopé (idéal) Caméra réelle  Le modèle du sténopé demeure valide pour les calculs. H-2011 Design III / GEL-3004! 12 Modèle du sténopé" Inverseur Non-Inverseur Y Z Axe optique Plan image Centre de projection O C P = (X,Y,Z)T F Y Z Axe optique Plan image Centre de projection O C d d F Point principal Point objet P = (X,Y,Z)T Point objet H-2011 Design III / GEL-3004! 13 Y Z Axe optique Plan image Centre de projection O C P = (X,Y,Z) T P' = (X ',Y',Z') T F Z XF X = ' F Z = ' Z YF Y = '  De même en X : On a : Modèle Sténopé : Projection de perspective" Prévoir les coordonnées images d'un point connu dans le repère de la caméra H-2011 Design III / GEL-3004! 14 • Équation du rayon projecteur étant donné un point image • Il nous faut introduire les notions pour traiter les points qui sont ou seront connus dans un repère autre que celui de la caméra. Modèle Sténopé : Projection de perspective" H-2011 Design III / GEL-3004! 15 Plan de la présentation" H-2011 Design III / GEL-3004! 16 Coordonnées homogènes" • Représentation mathématique permettant de rendre linéaires (calcul matriciel) certaines opérations courantes en vision, robotique et infographie. Par exemple : • On ajoute simplement une dimension aux coordonnées • X'=X Y'=Y Z'=Z lorsque W = 1  H-2011 Design III / GEL-3004! 17 Coordonnées homogènes : Utilisation" 1. On passe des coord. cartésiennes aux coord. homogènes en ajoutant un "1" comme 4e élément au vecteur. 2. On effectue les opérations (définies par une matrice 4x4). 3. On revient aux coordonnées cartésiennes en divisant tous les éléments du vecteur résultant par W (à la condition que W≠0). H-2011 Design III / GEL-3004! 18 Coordonnées homogènes : Transformations dʼintérêt pour le projet" • Projection • Rotation • Translation • Changement d'échelle ("scaling") H-2011 Design III / GEL-3004! 19 Coordonnées homogènes : Transformations courantes" • Projection (selon l'axe Z) * Matrice non- inversible Exemple : Projection d'un point P = (X,Y,Z)T Retour aux coordonnées cartésiennes H-2011 Design III / GEL-3004! 20 Projection dans une image" • La troisième ligne est sans intérêt puisque z = F. • On peut alors représenter la projection dans une image par une matrice 3x4 • On normalise tout comme dans le cas précédent H-2011 Design III / GEL-3004! 21 Coordonnées homogènes : Transformations dʼintérêt" • Rotation H-2011 Design III / GEL-3004! 22 Coordonnées homogènes : Transformations dʼintérêt" • Translation • Changement d'échelle ("scaling") H-2011 Design III / GEL-3004! 23 Coordonnées homogènes : Combiner les transformations" • Soit E1, E2, …, EN, N transformations à appliquer, dans l'ordre, au point P. • Ceci peut être réécrit : où • On procède alors comme suit : H-2011 Design III / GEL-3004! 24 Plan de la présentation" H-2011 Design III / GEL-3004! 25 Mise en contexte" RC : repère de la caméra RP : repère du préhenseur RG : repère global RG Rc RP Magny H-2011 Design III / GEL-3004! 26 Coordonnées homogènes : Changements de repère" Changements de repère Transformations rigides Combinaison d'une translation et d'une rotation Préservation des distances et des angles Transformation rigide : Que devient un point P, connu dans O2, vu de O1? H-2011 Design III / GEL-3004! 27 Coordonnées homogènes : Changements de repère" 1 - Donne la position du repère 2 par rapport au repère 1 2 - Permet de transformer les coordonnées d'un point exprimées dans le repère 2 en coord. exprimées dans le repère 1 2 définitions pour une même matrice Exemple : À noter : transformation inverse H-2011 Design III / GEL-3004! 28 Plan de la présentation" H-2011 Design III / GEL-3004! 29 Étalonnage d'une caméra" • On veut connaître la relation ("Mapping") entre les points de l'espace (3D, en millimètres) et leur position dans l'image (2D, en pixels). • On utilise un modèle simple (mais efficace) pour décrire le processus d'acquisition d'image : Paramètres intrinsèques Paramètres extrinsèques point 3D (en mm) point image (pixel) H-2011 Design III / GEL-3004! 30 Étalonnage d'une caméra : Explication du modèle" intrinsèques extrinsèques point 3D point image Le modèle provient de la formule suivante : (si γ = 0) Z Y X u v O I O c Z Y X O G (u 0 ,v 0 ) p=(u ,v ) P=(X,Y,Z) Centre de projection Axe optique Centre du plan image Plan image H-2011 Design III / GEL-3004! 31 Calibrage d'une caméra : Explication du modèle" 1 – Changement de repère Global  Caméra Z Y X O c Z Y X O G (u 0 ,v 0 ) p=(u ,v ) P=(X,Y,Z) Centre de projection Axe optique Centre du plan image E CG u v O I Plan image H-2011 Design III / GEL-3004! 32 Calibrage d'une caméra : Explication du modèle" 2 – Projection Pt 3D  Plan image Z Y X O c Z Y X O G (u 0 ,v 0 ) p=(u ,v ) P=(X,Y,Z) Centre de projection Axe optique Centre du plan image u v O I Plan image H-2011 Design III / GEL-3004! 33 Calibrage d'une caméra : Explication du modèle" 3 – Mise à l'échelle du plan image, m  pixel Z Y X u v O I O c Z Y X O G (u 0 ,v 0 ) p=(u ,v ) P=(X,Y,Z) Centre de projection Axe optique Centre du plan image Plan image H-2011 Design III / GEL-3004! 34 Calibrage d'une caméra : Explication du modèle" 4 – changement de repère OC  OI (on suppose g = 0) Z Y X u v O I O c Z Y X O G (u 0 ,v 0 ) p=(u ,v ) P=(X,Y,Z) Centre de projection Axe optique Centre du plan image Plan image H-2011 Design III / GEL-3004! 35 Calibrage d'une caméra : Explication du modèle" On multiplie les matrices T, S et Pr pour obtenir la matrice des paramètres intrinsèques : Le modèle complet est alors : La matrice des paramètres intrinsèques possède une ligne et une colonne uploads/Management/ introductionalavisionartificiellepartie2-pdf.pdf