Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

Université Lumière Lyon 2 École Doctorale Informatique et Mathématiques de Lyon

Université Lumière Lyon 2 École Doctorale Informatique et Mathématiques de Lyon Numéro : | _ | _ | _ | _ | _ | _ | _ | _ | THESE pour obtenir le grade de Docteur en Informatique présentée par Lionel Robinault Mosaïque d’images multi résolution et applications Soutenue le 08 Septembre 2009 JURY Rapporteurs Michèle Rombaut Professeur des Universités GIPSA lab, Grenoble Nicole Vincent Professeur des Universités Crip5, Paris Examinateurs Thierry Chateau Maître de conférence LASMEA, Clermont-Ferrand Président Patrick Perez Directeur de recherche INRIA IRISA, Rennes Directeurs Serge Miguet Professeur des Universités Liris, Lyon Stéphane Bres Maître de conférence Liris, Lyon Examinateur Jean-Baptiste Ducatez Ingénieur Foxstream, Lyon - 2 - - 3 - Résumé Le travail de thèse que nous présentons s’articule autour de l’utilisation de caméras motorisées à trois degrés de liberté, également appelées caméras PTZ. Ces caméras peuvent être pilotées suivant deux angles. L’angle de panorama (θ) permet une rotation autour d’un axe vertical et l’angle de tangage (ϕ) permet une rotation autour d’un axe horizontal. Si, théoriquement, ces caméras permettent donc une vue omnidirectionnelle, elles limitent le plus souvent la rotation suivant l’angle de panorama mais surtout suivant l’angle de tangage. En plus du pilotage des rotations, ces caméras permettent également de contrôler la distance focale permettant ainsi un degré de liberté supplémentaire. Par rapport à d’autres modèles, les caméras PTZ permettent de construire un panorama - représentation étendue d’une scène construite à partir d’une collection d’image - de très grande résolution. La première étape dans la construction d’un panorama est l’acquisition des différentes prises de vue. A cet effet, nous avons réalisé une étude théorique permettant une couverture optimale de la sphère à partir de surfaces rectangulaires en limitant les zones de recouvrement. Cette étude nous permet de calculer une trajectoire optimale de la caméra et de limiter le nombre de prises de vues nécessaires à la représentation de la scène. Nous proposons également différents traitements permettant d’améliorer sensiblement le rendu et de corriger la plupart des défauts liés à l’assemblage d’une collection d’images acquises avec des paramètres de prises de vue différents. Une part importante de notre travail a été consacrée au recalage automatique d’images en temps réel, c’est à dire que chaque étapes est effectuée en moins de 40ms pour permettre le traitement de 25 images par seconde. La technologie que nous avons développée permet d’obtenir un recalage particulièrement précis avec un temps d’exécution de l’ordre de 4ms (AMD1.8MHz). Enfin, nous proposons deux applications de suivi d’objets en mouvement directement issues de nos travaux de recherche. La première associe une caméra PTZ à un miroir sphérique. L’association de ces deux éléments permet de détecter tout objet en mouvement dans la scène puis de se focaliser sur l’un d’eux. Dans le cadre de cette application, nous proposons un algorithme de calibrage automatique de l’ensemble caméra et miroir. La deuxième application n’exploite que la caméra PTZ et permet la segmentation et le suivi des objets dans la scène pendant le mouvement de la caméra. Par rapport aux applications classiques de suivi de cible en mouvement avec une caméra PTZ, notre approche se différencie par le fait que réalisons une segmentation fine des objets permettant leur classification. Mots clés : analyse vidéo, panorama, mosaïque d’image, recalage, segmentation, suivi - 4 - - 5 - Abstract The thesis considers the of use motorized cameras with 3 degrees of freedom which are commonly called PTZ cameras. The orientation of such cameras is controlled according to two angles: the panorama angle (θ) describes the degree of rotation around on vertical axis and the tilt angle (ϕ) refers to rotation along a meridian line. Theoretically, these cameras can cover an omnidirectional field of vision of 4psr. Generally, the panorama angle and especially the tilt angle are limited for such cameras. In addition to control of the orientation of the camera, it is also possible to control focal distance, thus allowing an additional degree of freedom. Compared to other material, PTZ cameras thus allow one to build a panorama of very high resolution. A panorama is a wide representation of a scene built starting from a collection of images. The first stage in the construction of a panorama is the acquisition of the various images. To this end, we made a theoretical study to determine the optimal paving of the sphere with rectangular surfaces to minimize the number of zones of recovery. This study enables us to calculate an optimal trajectory of the camera and to limit the number of images necessary to the representation of the scene. We also propose various processing techniques which appreciably improve the rendering of the mosaic image and correct the majority of the defaults related to the assembly of a collection of images which were acquired with differing image capture parameters. A significant part of our work was used to the automatic image registration in real time, i.e. lower than 40ms. The technology that we developed makes it possible to obtain a particularly precise image registration with an computation time about 4ms (AMD1.8MHz). Our research leads directly to two proposed applications for the tracking of moving objects. The first involves the use of a PTZ camera and a spherical mirror. The combination of these two elements makes it possible to detect any motion object in the scene and to then to focus itself on one of them. Within the framework of this application, we propose an automatic algorithm of calibration of the system. The second application exploits only PTZ camera and allows the segmentation and the tracking of the objects in the scene during the movement of the camera. Compared to the traditional applications of motion detection with a PTZ camera, our approach is different by the fact that it compute a precise segmentation of the objects allowing their classification. keywords : video analysis, panorama, image mosaicing, registration, segmentation, tracking - 6 - - 7 - Table des matières 1. INTRODUCTION ...........................................................................................19 1.1. Présentation......................................................................................................................... 19 1.2. Acquisition.......................................................................................................................... 22 1.3. Traitement de l'image.......................................................................................................... 22 1.3.1. Mise en correspondance.............................................................................................. 23 1.3.2. Correction du gain....................................................................................................... 24 1.4. Assemblage......................................................................................................................... 24 1.5. Immersion et Visualisation ................................................................................................. 26 1.6. Caméras et Applications ..................................................................................................... 26 1.7. Organisation du document .................................................................................................. 27 2. MOSAÏQUE D’IMAGES................................................................................31 2.1. Présentation......................................................................................................................... 31 2.2. Construction d’une mosaïque d’images .............................................................................. 33 2.2.1. Projection d’un point dans l’image.............................................................................. 33 2.2.2. Unité pixel................................................................................................................... 34 2.2.3. Projection d’un pixel de l’image sur la sphère ............................................................ 35 2.2.4. Relation entre deux images ......................................................................................... 36 2.2.5. Homographie entre deux images................................................................................. 37 2.2.6. Calcul de la trajectoire optimale.................................................................................. 38 2.2.7. Polygone d’intersection............................................................................................... 53 2.3. Visualisation des mosaïques d’images................................................................................ 54 2.4. Représentation plane........................................................................................................... 56 2.4.1. Projection cylindrique ................................................................................................. 56 2.4.2. Projection azimutales .................................................................................................. 58 2.4.3. Conclusion................................................................................................................... 61 2.5. Projection polyédrique ........................................................................................................ 62 2.5.1. Les solides de Platon................................................................................................... 62 2.5.2. Polyèdre semi-régulier ................................................................................................ 67 2.5.3. Polygones quelconques ............................................................................................... 68 2.6. Comparatif du nombre de pixels nécessaire aux représentations panoramiques................. 69 2.7. Multi résolution................................................................................................................... 70 2.7.1. Avant propos ............................................................................................................... 70 2.7.2. Problématique.............................................................................................................. 71 2.7.3. Approche proposée...................................................................................................... 72 2.8. Conclusion .......................................................................................................................... 74 3. CREATION D’UN PANORAMA ROBUSTE EN TEMPS REEL.............77 3.1. Objectif ............................................................................................................................... 77 3.2. Interpolation........................................................................................................................ 77 3.3. Défaut d’alignement............................................................................................................ 80 3.3.1. Etude théorique ........................................................................................................... 80 3.3.2. Expérimentations......................................................................................................... 83 3.3.3. Influence du décalage.................................................................................................. 84 3.3.4. Conclusion................................................................................................................... 87 3.4. Défaut de positionnement ................................................................................................... 87 3.5. Alignement photométrique.................................................................................................. 88 3.5.1. Problématique.............................................................................................................. 88 3.5.2. Etat de l’art.................................................................................................................. 88 - 8 - 3.5.3. Solution proposée........................................................................................................ 91 3.6. Suppression des « fantômes » ............................................................................................. 92 3.6.1. Problématique.............................................................................................................. 92 3.6.2. Cas général.................................................................................................................. 93 3.6.3. Modélisation des composantes statiques du fond........................................................ 95 3.7. Conclusion .......................................................................................................................... 96 4. RECALAGE D’IMAGES APPLIQUE AUX CAMERAS PTZ..................99 4.1. Problématique ..................................................................................................................... 99 4.2. Etat de l’art du recalage appliqué aux caméras PTZ......................................................... 101 4.3. Limitation de l’espace de recherche.................................................................................. 103 4.4. Les mesures de similarité.................................................................................................. 104 4.4.1. Introduction............................................................................................................... 104 4.4.2. Evaluation des mesures de similarité......................................................................... 105 4.4.3. Mesures de distance................................................................................................... 107 4.4.4. Mesures de corrélation .............................................................................................. 112 4.4.5. Histogramme joint..................................................................................................... 115 4.4.6. Conclusion................................................................................................................. 117 4.5. Algorithmes de recalage.................................................................................................... 118 4.5.1. Méthodes denses ....................................................................................................... 118 4.5.2. Méthodes éparses ...................................................................................................... 121 4.5.3. Conclusion................................................................................................................. 126 4.6. Notre approche.................................................................................................................. 127 4.6.1. Présentation............................................................................................................... 127 4.6.2. Somme des distances Euclidiennes avec le plus proche voisin................................. 127 4.6.3. Algorithme de recalage ............................................................................................. 129 4.7. Evaluation des méthodes de recalage................................................................................ 132 4.7.1. Protocole de test ........................................................................................................ 132 4.7.2. Résultats .................................................................................................................... 134 4.8. Conclusion ........................................................................................................................ 138 5. APPLICATIONS ...........................................................................................141 5.1. Avant propos..................................................................................................................... 141 5.2. Etat de l’art........................................................................................................................ 141 5.3. Détection d’objets en mouvement dans une scène étendue............................................... 143 5.3.1. Principe ..................................................................................................................... 143 5.3.2. Etude théorique ......................................................................................................... 145 5.3.3. Calibrage automatique de l’ensemble........................................................................ 150 5.3.4. Résultats .................................................................................................................... 152 5.3.5. Conclusion................................................................................................................. 155 5.4. Détection et suivi des objets en mouvement ..................................................................... 155 5.4.1. Introduction............................................................................................................... 155 5.4.2. Les Mélanges de Gaussiennes................................................................................... 157 5.4.3. Modélisation du fond avec une caméra PTZ............................................................. 158 5.4.4. Résultats .................................................................................................................... 162 5.4.5. Solution globale......................................................................................................... 164 5.5. Conclusion ........................................................................................................................ 165 6. CONCLUSION ..............................................................................................169 6.1. Bilan des travaux............................................................................................................... 169 6.2. Perspectives....................................................................................................................... 171 7. ANNEXES ......................................................................................................175 - 9 - 7.1. Modèles mathématiques.................................................................................................... 175 7.1.1. Avant propos ............................................................................................................. 175 7.1.2. Eléments d’optique géométrique............................................................................... 175 7.1.3. Le modèle Sténopé.................................................................................................... 179 7.1.4. Résolution du uploads/Geographie/liris-4540.pdf