Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

HAL Id: tel-00307197 https://tel.archives-ouvertes.fr/tel-00307197 Submitted on

HAL Id: tel-00307197 https://tel.archives-ouvertes.fr/tel-00307197 Submitted on 29 Jul 2008 HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers. L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés. Suivi tridimensionnel de la main et reconnaissance de gestes pour les Interfaces Homme Machine Simon Conseil To cite this version: Simon Conseil. Suivi tridimensionnel de la main et reconnaissance de gestes pour les Interfaces Homme Machine. Interface homme-machine [cs.HC]. Université Paul Cézanne - Aix-Marseille III, 2008. Français. tel-00307197 université paul cézanne aix-marseille iii No attribué par la bibliothèque : 2008AIX30006 S U I V I T R I D I M E N S I O N N E L D E L A M A I N E T R E C O N N A I S S A N C E D E G E S T E S P O U R L E S I N T E R FA C E S H O M M E - M A C H I N E T H È S E pour obtenir le grade de docteur de l’université paul cézanne faculté des sciences et techniques Discipline : Optique, électromagnétique et image présentée et soutenue publiquement par : Simon Conseil Directeur de Thèse : Pr. Salah Bourennane École doctorale : Physique et Sciences de la Matière Soutenue publiquement le 13 mars 2008 devant le jury composé de : rapporteurs : Alice Caplier MCF HDR, GIPSA-lab, INP Grenoble Liming Chen Pr., LIRIS, École Centrale Lyon examinateurs : Monique Thonnat DR, INRIA Sophia Antipolis Salah Bourennane Pr., Institut Fresnel, École Centrale Marseille Stéphane Derrode MCF, Institut Fresnel, École Centrale Marseille Lionel Martin Ingénieur de recherche, STMicroelectronics année : 2008 Simon Conseil : Suivi tridimensionnel de la main et reconnaissance de gestes pour les Interfaces Homme-Machine, Thèse de doctorat, Université Paul Cézanne Aix- Marseille III, © 2008 La science est ce que nous comprenons sufﬁsamment bien pour l’expliquer à un ordinateur. L’art, c’est tout ce que nous faisons d’autre 1. — Donald Knuth R E M E R C I E M E N T S Tout d’abord, je remercie Salah Bourennane pour m’avoir permis de faire cette thèse et pour la conﬁance qu’il m’a accordé. Je remercie également Lionel Martin, pour sa disponibilité de tous les instants et pour sa bonne humeur. Merci à Frédéric Guérault et à Christophe Chesnaud, pour m’avoir ouvert les portes de 3DFeel. Enﬁn, je tiens à remercier Stéphane Derrode pour l’aide et les conseils qu’il m’a apporté lors de la rédaction de cette thèse. Je voudrais également adresser mes plus vifs remerciements à chacun des membres du jury : Monique Thonnat, pour m’avoir fait l’honneur de présider mon jury de thèse, Alice Caplier et Liming Chen, pour avoir accepté la charge de rapporter cette thèse. Merci pour l’intérêt qu’ils y ont porté et pour leurs remarques. Merci aux collègues de l’Institut Fresnel et aux membres de l’équipe GSM, permanents, doctorants et stagiaires avec qui j’ai partagé de bon moments pendant ces quatre années. Merci tout particulièrement à Nadine, Cyril, Damien et William pour leur bonne humeur, leur support et leurs encouragements. Merci aux collègues de STMicroelectronics pour leur accueil chaleureux au sein de l’équipe AST et pour la bonne ambiance de travail. Merci tout particu- lièrement à Sophie et Réouven. Je remercie bien sûr mes parents et toute ma famille, qui m’ont toujours soutenu dans mes choix et m’ont permis d’en arriver là. Merci enﬁn à Stéphanie, pour m’avoir supporté et soutenu durant la rédaction de cette thèse. 1. Science is what we understand well enough to explain to a computer. Art is everything else we do. iii S O M M A I R E sommaire v abréviations vii 1 introduction 1 1.1 Les gestes de la main 2 1.2 Sujet de recherche 4 1.3 Organisation du manuscrit 5 2 contexte industriel et configuration expérimentale 7 2.1 Contexte industriel de la thèse 8 2.2 Conﬁguration expérimentale 10 2.3 Les caméras 11 2.4 Gestes utilisés 12 2.5 Données de test 13 3 interprétation des gestes de la main 17 3.1 Vers une interaction homme-machine gestuelle 18 3.2 Interprétation visuelle des gestes de la main 24 3.3 Gestes de pointage 28 3.4 Modèles d’apparence 30 3.5 Modèles 3d 34 3.6 Gestes dynamiques 36 3.7 Résumé 38 4 détection et caractérisation morphologique de la main 39 4.1 Introduction 40 4.2 Segmentation de la main 40 4.3 Extraction de caractéristiques morphologiques 52 4.4 Résumé 61 5 reconnaissance de postures de la main 63 5.1 Introduction 64 5.2 Caractéristiques de formes 66 5.3 Classiﬁcation 72 5.4 Résultats et interprétation 75 5.5 Amélioration de la reconnaissance 82 5.6 Résumé 85 6 suivi tridimensionnel de la main 87 6.1 Introduction 88 6.2 Suivi tridimensionnel des doigts 90 6.3 Suivi 2d avec un modèle squelettique 102 6.4 Suivi 3d 107 6.5 Résumé 113 7 conclusion 115 v vi sommaire Annexes 119 a soustraction du fond avec un mélange de gaussiennes 121 a.1 Modélisation des pixels par mélange de gaussiennes 121 a.2 Plusieurs gaussiennes pour le fond 122 a.3 Mise à jour des paramètres 123 a.4 Suppression des ombres 123 b vision stéréoscopique 125 b.1 Modèle géométrique des caméras 125 b.2 Calibration 127 b.3 Vision stéréoscopique 128 table des matières 133 table des figures 137 liste des tableaux 139 bibliographie 141 résumé 154 abstract 154 A B R É V I AT I O N S Pour des raisons de lisibilité, la signiﬁcation d’une abréviation ou d’un acro- nyme n’est généralement rappelée qu’à sa première apparition, en note de bas de page. Par ailleurs, puisque nous utilisons toujours l’abréviation la plus usuelle, il est fréquent que ce soit le terme anglais qui soit employé. Dans ce cas, nous présentons une traduction. GUI Graphical User Interface (interface graphique) PUI Perceptual User Interface (interface perceptuelle) WIMP Window, Icon, Menu, Pointing device (fenêtre, icône, menu, dispositif de pointage) ACP Analyse en Composantes Principales ASL American Sign Language (langue des signes américaine) DTW Dynamic Time Warping (recalage dynamique) EM Expectation-Maximisation (espérance-maximisation) FFT Fast Fourier Transform (Transformée de Fourier Rapide) IHM Interface Homme Machine LPC Langage Parlé Complété LSF Langue des Signes Française HMM Hidden Markov Models (Modèles de Markov Cachés) k-NN k-Nearest Neighbors (k-plus proches voisins) RBF Radial-Basis Function (fonctions à base radiale) SVM Support Vector Machine (machine à support vectoriel) CMC Articulation carpo-métacarpienne IP Articulation inter-phalangienne IPD Articulation inter-phalangienne distale IPP Articulation inter-phalangienne proximale MCP Articulation métacarpo-phalangienne vii 1 I N T R O D U C T I O N Le sujet de nos travaux de recherche concerne la conception et le développe- ment de méthodes de vision par ordinateur pour la reconnaissance de gestes de la main. Nous cherchons à répondre aux besoins de conception d’une Interface Homme-Machine dont l’objectif est de transformer un écran classique en surface tactile et de permettre à l’utilisateur de se servir de son doigt comme dispositif de pointage. Les gestes de la main sont un canal de communication naturel et intuitif chez l’homme pour interagir avec son environnement. Ils servent à désigner ou à manipuler des objets, à renforcer la parole, ou à communiquer basiquement dans un environnement bruité. Ils peuvent aussi représenter un langage à part entière avec la langue des signes [102]. Les gestes peuvent avoir une signiﬁcation différente suivant la langue ou la culture : les langues des signes en particulier sont spéciﬁques à chaque langue. Pour Cadoz [17], le geste est un des canaux de communications les plus riches. Ainsi, dans le domaine des Interfaces Homme-Machine (IHM), la main peut servir à pointer (pour remplacer la souris), à manipuler des objets (pour la réalité augmentée ou virtuelle), ou à communiquer par gestes avec un ordinateur. Par rapport à la richesse de l’information véhiculée par les gestes de la main, les possibilités de communication avec les ordinateurs sont aujourd’hui réduites avec la souris et le clavier. L’interaction homme-machine est basée actuellement sur le paradigme WIMP 1 qui présente les bases fonctionnelles d’une interface graphique informatique (GUI 2). La majorité des systèmes d’exploitation repose sur ce concept, avec un dispositif de pointage, généralement la souris, qui permet d’interagir avec des éléments graphiques tels que des fenêtres, des icônes et des menus, de façon plus intuitive qu’avec une interface textuelle (en ligne de commande). En utilisant les gestes de la main, l’interface devient perceptuelle (PUI 3). Les systèmes de reconnaissance de gestes ont d’abord utilisé des gants élec- troniques munis de capteurs fournissant la position de la main et les angles des articulations des doigts [12]. Mais ces gants sont onéreux et encombrants, d’où l’intérêt croissant pour les méthodes de vision par ordinateur. En effet, avec les progrès techniques et l’apparition de caméras bon marché, uploads/Geographie/ these-simon-conseil.pdf