Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

HAL Id: tel-02489704 https://theses.hal.science/tel-02489704 Submitted on 26 Fe

HAL Id: tel-02489704 https://theses.hal.science/tel-02489704 Submitted on 26 Feb 2020 HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers. L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés. Apprentissage automatique pour l’analyse des expressions faciales Kevin Bailly To cite this version: Kevin Bailly. Apprentissage automatique pour l’analyse des expressions faciales. Intelligence artifi- cielle [cs.AI]. Sorbonne Université, 2019. tel-02489704 HABILITATION À DIRIGER DES RECHERCHES Sorbonne Université – Faculté des Sciences et Ingénierie Présentée par Kévin BAILLY Apprentissage automatique pour l’analyse des expressions faciales Soutenue le 12 février 2019 devant le jury composé de : Pr. Laurent Heutte LITIS – Université de Rouen Rapporteur Dr. Jean-Marc Odobez IDIAP – École Polytechnique Fédérale de Lausanne Rapporteur Pr. Björn Schuller University of Augsburg – Imperial College London Rapporteur Pr. Mohamed Chétouani ISIR/CNRS – Sorbonne Université Examinateur Pr. Matthieu Cord LIP6/CNRS – Sorbonne Université Examinateur Pr. James Crowley LIG/INRIA – Grenoble INP Examinateur Table des matières 1 Introduction 1 1.1 Contexte et objectifs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.1.1 Caractérisation des expressions faciales . . . . . . . . . . . . . . . . . . . . 1 1.1.2 Les déﬁs de l’analyse automatique des expressions faciales . . . . . . . . . 3 1.2 Bases de données et métrique d’évaluation . . . . . . . . . . . . . . . . . . . . . . 4 1.2.1 Bases de données disponibles . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2.2 Métrique d’évaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.3 Plan du mémoire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2 Positionnement et contributions 9 2.1 2000-2008 : les premiers grands succès de l’analyse faciale . . . . . . . . . . . . . 9 2.2 2008-2012 : l’essor de l’analyse des expressions faciales . . . . . . . . . . . . . . . 10 2.3 2012-2018 : vers l’analyse faciale "in the wild" . . . . . . . . . . . . . . . . . . . . 12 2.3.1 Robustesse au faible nombre de données d’apprentissage . . . . . . . . . . 12 2.3.2 Robustesse aux fortes variations d’apparence . . . . . . . . . . . . . . . . 13 2.4 L’émergence de l’apprentissage profond (Deep Learning) . . . . . . . . . . . . . . 15 3 SVM Multi-Noyaux pour la combinaison de descripteurs hétérogènes 19 3.1 Choix du descripteur et de la fonction noyau . . . . . . . . . . . . . . . . . . . . 19 3.1.1 Les descripteurs d’apparence . . . . . . . . . . . . . . . . . . . . . . . . . 19 3.1.2 Les fonctions noyaux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 3.1.3 Résultats expérimentaux . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 3.2 Prise en compte de l’identité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.3 Combinaisons de descripteurs hétérogènes . . . . . . . . . . . . . . . . . . . . . . 23 3.3.1 Détection des AU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 3.3.2 Localisation des points caractéristiques . . . . . . . . . . . . . . . . . . . . 24 4 Analyse des expressions faciales par apprentissage de métriques 27 4.1 Estimateur de Nadaraya-Watson et apprentissage de métriques . . . . . . . . . . 27 4.2 Améliorations proposées . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 4.2.1 Sélection des descripteurs . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 4.2.2 Descente de gradient stochastique . . . . . . . . . . . . . . . . . . . . . . 30 4.2.3 Régularisation de la fonction de coût . . . . . . . . . . . . . . . . . . . . . 30 4.2.4 MLKR multi-labels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 4.3 Application à l’analyse des expressions faciales . . . . . . . . . . . . . . . . . . . 33 4.3.1 Localisation de points caractéristiques . . . . . . . . . . . . . . . . . . . . 33 4.3.2 Estimation de l’intensité des Action Units . . . . . . . . . . . . . . . . . . 34 5 Forêts Aléatoires pour l’analyse en environnement non contraint 39 Table des matières 5.1 Forêts aléatoires pour l’analyse faciale : intérêt et limitations . . . . . . . . . . . 39 5.2 Forêts aléatoires conditionnelles . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 5.2.1 Forêts aléatoires conditionnées par paires (PCRF) . . . . . . . . . . . . . 40 5.2.2 PCRF Multi-vues (MV-PCRF) . . . . . . . . . . . . . . . . . . . . . . . . 42 5.2.3 Résultats expérimentaux . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 5.3 Forets aléatoires à sous-espaces locaux (LSRF) . . . . . . . . . . . . . . . . . . . 44 5.3.1 Prédiction locale de l’expression . . . . . . . . . . . . . . . . . . . . . . . 44 5.3.2 Prédiction des expressions robustes aux occultations . . . . . . . . . . . . 46 5.3.3 Reconnaissance des AU . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 5.4 Evaluation gloutonne des Forêts Neuronales . . . . . . . . . . . . . . . . . . . . . 48 5.4.1 Principe général . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 5.4.2 Procédure d’évaluation gloutonne . . . . . . . . . . . . . . . . . . . . . . . 49 5.4.3 Algorithme eﬃcace d’apprentissage . . . . . . . . . . . . . . . . . . . . . . 49 5.4.4 Applications . . . . . . uploads/Management/ apprentissage-automatique-pour-l-x27-analyse-des-expressions-faciales.pdf