Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

Introduction aux Introduction aux expressions faciales expressions faciales – –

Introduction aux Introduction aux expressions faciales expressions faciales – – Pr Pré élude au projet MONNET lude au projet MONNET France France Lalibert Laliberté é 14 mars 2005 14 mars 2005 2 Tous droits réservés © 2005 CRIM Plan Plan • Qu’est-ce qu’une expression faciale? • Pourquoi les expressions faciales existent-elles? • Pourquoi s’y intéresser? • Mesure des expressions faciales • Expression faciale ≠émotion • Différence entre reconnaissance et interprétation • Système d’encodage des actions faciales • Expression spontanée versus expression posée • Méthodes et systèmes d’analyse automatique 3 Tous droits réservés © 2005 CRIM Qu Qu’ ’est est- -ce ce qu qu’ ’une une expression expression faciale faciale? ? • Changement dans le visage, perceptible visuellement, dû à l’activation (volontaire ou non) de l’un ou de plusieurs des 44 muscles composant le visage. • 250000 expressions possibles 4 Tous droits réservés © 2005 CRIM Pourquoi Pourquoi les expressions les expressions faciales faciales existent existent- -elles elles? ? • Trois points de vue différents – Les émotions sont au centre de l’explication des expressions faciales • Sélection naturelle ⇒7 émotions de base ⇒7 expressions faciales universelles (colère, dégoût, joie, mépris, peur, surprise, tristesse) • Les étiquettes pourraient être remises en question car elles dépendent du langage et de la culture – Les expressions faciales sont des signaux de conversation qui dépendent des intentions de l’émetteur, du comportement du récepteur et du contexte de l’interaction, non des émotions. • Hausser les sourcils ↔incrédulité, froncer les sourcils ↔ incompréhension, hausser le menton ↔ignorance – Les expressions faciales sont des activateurs et des régulateurs d’émotion dû à la plasticité du cerveau • Changent la température de l’hypothalamus pour faciliter ou inhiber la production de neurotransmetteurs reliés aux émotions 5 Tous droits réservés © 2005 CRIM Pourquoi s Pourquoi s’ ’y int y inté éresser? resser? • Indicateur de l’activité émotionnelle moins intrusif que d’autres méthodes, utilisé en recherche comportementale. • Enseignement à distance (transmission au professeur de l’état des étudiants sous forme d’information de haut niveau). • Détection de mensonges. • Interface personne-système (jeux, bureautique, logiciels d’apprentissage) • Système de mesure objective ou l’interprétation de l’observateur n’entre pas en ligne de compte. • Création d’avatars réalistes (mouvements des muscles sous-jacents). • Dispositif dans les voitures qui avertit le conducteur en cas de perte de vigilance. • Dispositif dans les avions (information supplémentaire pour la boîte noire). • Reconnaissance de visages invariante à l’expression 6 Tous droits réservés © 2005 CRIM Mesure des expressions Mesure des expressions faciales faciales • Contraction des muscles : déformation non- rigide temporaire (0.25-5s) des structures faciales (sourcils, paupières, nez, lèvres, texture de la peau) • Terminologie – Position – Intensité (plus faible pour expression spontanée) – Dynamique (attaque, maintien, relaxation) • Structures faciales permanentes et transitoires. Difficile de déterminer l’expression à partir d’une image fixe, surtout pour les personnes d’un certain âge. 7 Tous droits réservés © 2005 CRIM Expression faciale Expression faciale ≠ ≠é émotion motion Émotions Voix Posture Gestes Direction du regard Expressions faciales Plusieurs facteurs Expressions faciales Émotion Réflexion État d’esprit Activités physiologiques Besoins biologiques Douleur Fatigue Communication non-verbale Émotion simulée Clin d’oeil Froncement des sourcils Une Une Une Une é é é émotion peut causer motion peut causer motion peut causer motion peut causer une expression faciale ou non et une expression faciale ou non et une expression faciale ou non et une expression faciale ou non et une expression faciale peut être caus une expression faciale peut être caus une expression faciale peut être caus une expression faciale peut être causé é é ée e e e par une par une par une par une é é é émotion ou non. motion ou non. motion ou non. motion ou non. 8 Tous droits réservés © 2005 CRIM Reconnaissance et interpr Reconnaissance et interpré étation tation des expressions faciales des expressions faciales • Reconnaissance des expressions faciales : classement des déformations des structures faciales en classes abstraites basé sur l’information visuelle • Interprétation des expressions faciales : lien avec les émotions de base (utilise l’information contextuelle) 9 Tous droits réservés © 2005 CRIM Syst Systè ème d me d’ ’encodage des encodage des actions faciales (FACS) actions faciales (FACS) 2 1 4 ouvrir bouche 25 hausser sourcil int. 1 hausser sourcil ext. 2 hausser menton 17 baisser coins lèvres 15 bomber joues 13 hausser coins lèvres 12 creuser ride nasale 11 hausser lèvre sup. 10 plisser nez 9 hausser joues 6 hausser paupière sup. 5 presser lèvres 24 serrer lèvres 23 étirer lèvres 20 baisser sourcil 4 4 5 6 9 10 11 12 12 13 15 17 20 23, 24 25 © 2000 A Human Face 10 Tous droits réservés © 2005 CRIM Syst Systè ème d me d’ ’encodage des encodage des actions faciales (FACS) actions faciales (FACS) 1+4+11+15+17 tristesse 1+2+5+25 surprise 1+2+4+5+20+25 peur 6+10+11+12+13 +25+37 joie 9+10+17+25 dégoût 4+5+17+23+24 colère mépris 10+12+14 unilatéral 11 Tous droits réservés © 2005 CRIM dégoût Mouvements faciaux globaux Mouvements faciaux globaux Bassili 1979 Essa 1994 (images) colère joie peur surprise tristesse 12 Tous droits réservés © 2005 CRIM Expression Expression spontan spontané ée e versus versus expression expression pos posé ée e • Pour différencier un sourire authentique d’un sourire social on regarde … les yeux! Sourire de Duchenne (UA 6) Neurologiste Français 19es Sourire “Pan American” Ondelettes de Gabor “Support Vector Machines” Images de différence •Problème de classification binaire non séparable linéairement : noyaux gaussiens ou polynomiaux pour SVM. •Taux de classification : 86% Paralysie de la région volontaire Paralysie de la région émotionnelle Sourire Pan American Sourire de Duchenne © Sinauer Associates, Inc. 13 Tous droits réservés © 2005 CRIM M Mé éthodes d thodes d’ ’analyse analyse automatique automatique Détection du visage Normalisation du visage Extraction des structures faciales Extraction des déformations Extraction du mouvement Méthodes globales Méthodes locales Méthodes globales Méthodes locales Basées sur l’image Basées sur un modèle Basées sur le flux optique Basées sur un modèle de mvt Basées sur le suivi de pts de structure Basées sur les images de ≠ ≠ ≠ ≠ Basées sur un marqueur Représentation des structures faciales Coeff. de proj. Param. de modèles Classification des expressions faciales Reconnaissance Interprétation Encodage en UA Émotions 1 2 3 4 5 6 14 Tous droits réservés © 2005 CRIM M Mé éthodes d thodes d’ ’analyse automatique analyse automatique – – extraction des structures faciales extraction des structures faciales Modèle d’apparence active Lanitis 1997 2 Modèle 2D basé sur les pts Pantic 1999 3 Expression neutre requise Filtres de Gabor 1 15 Tous droits réservés © 2005 CRIM M Mé éthode thode d d’ ’analyse analyse automatique automatique – – extraction des structures extraction des structures faciales faciales Flux optique Lien 2000 •Sensibilité au bruit •Sensibilité à la variation d’illumination •Sensibilité à la discontinuité de mvt •Coût de calcul élevé •Seuls les mvts possibles d’un •pt de vue physique sont considérés •Construction manuelle des modèles de visage et de tête •Coût de calcul élevé Modèle de mvt déformable 3D DeCarlo 1996 4 5 6 Suivi de pts de structure Wang 1998 Préservent la topologie locale Servent à reconnaître les expressions faciales 16 Tous droits réservés © 2005 CRIM M Mé éthodes thodes d d’ ’analyse analyse automatique automatique – – classification des structures classification des structures faciales faciales • Modèle de Markov caché • Réseau de neurones récurrent • Gabarits d’énergie de mouvement • Réseau de neurones feed-forward • Plus proche voisin avec mesure de distance colère dégoût joie surprise 17 Tous droits réservés © 2005 CRIM M Mé éthodes thodes d d’ ’analyse analyse automatique automatique – – syst systè èmes mes hybrides hybrides • Utilisent des algorithmes d’extraction qui mettent l’emphase sur des structures faciales différentes 1. Méthode globale d’extraction du mvt 2. Méthode locale d’extraction du mvt 3. Méthode locale d’extraction des déformations 3 pts dans la 1re image de chaque séquence Lien 1998 Fasel 2003 (image) 15 UA 18 Tous droits réservés © 2005 CRIM Conclusion Conclusion • Reconnaissance des expressions faciales est un problème complexe et pour l’humain et pour la machine – Déformations non-rigides – Variations inter-personnes – Micro-expression (tentative de camouflement d’une émotion 0.06s) – Expression subtile (début d’une émotion) • Plus facile de reconnaître l’expression – Sujet connu – Expression neutre disponible • Beaucoup de systèmes demandent une intervention manuelle et/où ont un coût de calcul élevé. • Reconnaître une émotion n’est pas la comprendre ou comprendre ce qui l’a provoquée … sauter aux conclusions peut être pire que de ne pas reconnaître une émotion! • http://www.emotionsrevealed.com/ uploads/s3/ expressions-faciales 1 .pdf