Accéder directement au contenu Accéder directement à la navigation
Thèse

Automatic Analysis of Macro and Micro Facial Expressions: Detection and Recognition via Machine Learning

Résumé : L’analyse automatique des expressions faciales représente à l’heure actuelle une problématique importante associée à de multiples applications telles que la reconnaissance de visages, l’animation de visages ou encore les interactions homme machine. Dans cette thèse, nous nous attaquons au problème de la reconnaissance d’expressions faciales à partir d’une image ou d’une séquence d’images. Nous abordons le problème sous trois angles. Tout d’abord, nous étudions les macro-expressions faciales et nous proposons de comparer l’efficacité de trois descripteurs différents tenant compte d’informations de plus ou moins haut niveau. Cela conduit au développement d’un algorithme de reconnaissance d’expressions basé sur des descripteurs bas niveau encodés dans un modèle de type sac de mots, puis d’un algorithme basé sur des descripteurs de moyen niveau associés à une représentation éparse et enfin d’un algorithme d’apprentissage profond tenant compte de descripteurs haut niveau. Notre objectif lors de la comparaison de ces trois algorithmes est de trouver la représentation des informations de visages la plus discriminante pour reconnaitre des expressions faciales en étant donc capable de s’affranchir des sources de variabilités que sont 1) les facteurs de variabilité intrinsèques tels que l’apparence du visage ou encore la manière de réaliser une expression donnée et 2) les facteurs de variabilité extrinsèques tels que les variations d’illumination, de pose, d’échelle, de résolution, de bruit ou d’occultations. Dans le même temps, nous examinons aussi l’apport de descripteurs spatio-temporels capables de prendre en compte des informations dynamiques utiles pour séparer les classes ambigües. La grosse limitation des méthodes de classification supervisée est qu’elles sont très coûteuses en termes de labélisation de données. Afin de s’affranchir en partie de cette limitation, nous avons étudié dans un second temps, comment utiliser des méthodes de transfert d’apprentissage de manière à essayer d’étendre les modèles appris sur un ensemble donné de classes d’émotions à des expressions inconnues du processus d’apprentissage. Ainsi nous nous sommes intéressés à l’adaptation de domaine et à l’apprentissage avec peu ou pas de données labélisées. La méthode proposée nous permet de traiter des données non labélisées provenant de distributions différentes de celles du domaine source de l’apprentissage ou encore des données qui ne concernent pas les mêmes labels mais qui partagent le même contexte. Le transfert de connaissance s’appuie sur un apprentissage euclidien et des réseaux de neurones convolutifs de manière à définir une fonction de mise en correspondance entre les informations visuelles provenant des expressions faciales et un espace sémantique issu d’un modèle de langage naturel. La correspondance entre les deux espaces est optimisée par alignement basé sur la distribution des descripteurs visuels. Dans un troisième temps, nous nous sommes intéressés à la reconnaissance des micro-expressions faciales. Nous proposons un algorithme destiné à localiser ces micro-expressions dans une séquence d’images depuis l’image initiale (onset image) jusqu’à l’image finale (offset image) et à déterminer les régions des images qui sont affectées par les micro-déformations associées aux micro-expressions. Le problème est abordé sous un angle de détection d’anomalies ce qui se justifie par le fait que les déformations engendrées par les micro-expressions sont a priori un phénomène beaucoup plus rare que celles produites par toutes les autres causes de déformation du visage telles que les macro-expressions, les clignements des yeux, les mouvements de la tête. . . Ainsi nous proposons un réseau de neurones auto-encodeur récurrent destiné à capturer les changements spatiaux et temporels associés à toutes les déformations du visage autres que celles dues aux micro-expressions. Ensuite, nous apprenons un modèle statistique basé sur un mélange de gaussiennes afin d’estimer la densité de probabilité de ces déformations autres que celles dues aux micro-expressions. Finalement les micro-expressions sont détectées au moyen d’une opération de seuillage sur cette densité de probabilité. Tous nos algorithmes sont testés et évalués sur des bases d’expressions faciales actées et/ou spontanées.
Liste complète des métadonnées

Littérature citée [378 références]  Voir  Masquer  Télécharger

https://hal.univ-grenoble-alpes.fr/tel-02359665
Contributeur : Dawood Al Chanti <>
Soumis le : mardi 12 novembre 2019 - 14:50:08
Dernière modification le : mercredi 14 octobre 2020 - 04:16:32
Archivage à long terme le : : jeudi 13 février 2020 - 17:29:39

Fichier

Dawood ALCHANTI Thesis.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : tel-02359665, version 1

Collections

Citation

Dawood Al Chanti. Automatic Analysis of Macro and Micro Facial Expressions: Detection and Recognition via Machine Learning. Image Processing [eess.IV]. UGA (Université Grenoble Alpes), 2019. English. ⟨tel-02359665⟩

Partager

Métriques

Consultations de la notice

234

Téléchargements de fichiers

610