Human Emotion Recognition Based on Spatio-Temporal Facial Features Using Deep Learning methods and textures Features

en
Loading...
Thumbnail Image

Journal Title

Journal ISSN

Volume Title

Publisher

Faculté des Sciences - Dhar El Mahraz - Fès

Department

Date

Abstract

La reconnaissance des émotions se profile comme un domaine central de la recherche scientifique, embrassant diverses modalités telles que les expressions faciales, le langage corporel et les indices audio. L'objectif de doter les machines de la capacité à discerner et à interpréter les émotions humaines pour des interactions plus subtiles a engendré le développement de multiples méthodologies. Malgré des progrès notables, ce défi demeure de taille, rassemblant des domaines variés tels que l'interaction homme-machine, le traitement d'images, l'intelligence artificielle et la robotique. Au fil des années, la recherche en analyse des émotions s'est principalement concentrée sur des approches spécifiques, avec une attention particulière portée à l'analyse des expressions faciales en raison de son importance dans la communication non verbale, contribuant jusqu'à 55% à la compréhension des émotions humaines. Bien que des avancées aient été réalisées en termes de précision, les premières méthodologies ont largement reposé sur des techniques de classification de caractéristiques essentielles. Les récents efforts se sont tournés vers l'exploitation des techniques d'apprentissage profond pour extraire automatiquement des caractéristiques informatives à partir des données, dans le but de les intégrer et de les classifier efficacement. Cependant, des défis persistent dans la création de systèmes d'apprentissage profond et robustes capables de prédire avec précision les émotions humaines, notamment dans la modélisation des interactions spatio-temporelles dans les données vidéo et dans l'identification des caractéristiques essentielles pour améliorer la précision.Dans ce contexte, cette thèse doctorale aborde ces défis de front, notamment dans le domaine de la reconnaissance des expressions faciales dans des contextes spatio-temporels. Elle propose une fusion de méthodes d'apprentissage profond, de techniques d'apprentissage automatique et d'approches basées sur la texture pour affiner la précision de la reconnaissance des émotions. La thèse présente deux architectures novatrices pour la reconnaissance des expressions faciales : La première architecture combine les représentations des caractéristiques d'apprentissage profond et des caractéristiques de texture dynamique. En utilisant le modèle Groupe de Géométrie Visuelle (VGG19) pour l'apprentissage profond, les traits faciaux sont extraits et utilisés pour alimenter des cellules de mémoire à court terme (LSTM) afin de capturer les nuances spatio-temporelles entre les images. Simultanément, le descripteur HOG-TOP est employé pour capturer les textures dynamiques à partir de séquences vidéo, caractérisant efficacement les changements d'apparence faciale. Ces modèles sont ensuite combinés à l'aide de l'algorithme Multimodal Bilinéaire Compact (MCB), aboutissant à un vecteur de descripteur robuste.La deuxième architecture présente une fusion innovante d'algorithmes d'apprentissage profond et de méthodes de texture dynamique. Dans la phase initiale, les traits faciaux sont extraits en utilisant le modèle VGG19 et introduits dans des cellules LSTM pour capturer des informations spatio-temporelles. De plus, le descripteur HOG-HOF est utilisé pour capturer les caractéristiques dynamiques à partir de séquences vidéo, encapsulant les changements d'apparence faciale au fil du temps. La fusion de ces modèles à l'aide de l'algorithme MCB produit un vecteur de descripteur efficace. Les résultats expérimentaux des deux méthodologies démontrent une performance supérieure par rapport aux approches de pointe existantes, validées à l'aide du jeu de données Enterface'05. Alors que la première méthode présente une précision exceptionnelle, la seconde méthode surpasse les approches contemporaines, soulignant ainsi l'efficacité des approches proposées.

Description

Keywords

La reconnaissance des émotions humaines , la reconnaissance des expressions faciales , l'apprentissage profond , le groupe de géométrie visuelle , la mémoire à court et long terme , la machine à vecteurs de support , les histogrammes de gradients orientés , l'histogramme du flux optique, l'histogramme des gradients orientés à partir de trois plans orthogonaux

Citation