Approches basées sur la fusion multimodale pour les systèmes multi-capteurs : de l'amélioration de la performance vers les préoccupations éthiques.

Abstract

Dans notre monde réel, les interactions/l’apprentissage humain sont naturellement caractérisés comme étant multimodaux. Nous utilisons de multiples sens/modalités pour explorer notre environnement/pour confirmer avec une vue unifiée nos interprétations incertaines à travers les propriétés perçues de chaque modalité. De même, pour l’expérience humaine, la disponibilité croissante de capteurs multiples a donné lieu à une grande quantité de données diversifiées. Cette croissance a attiré une attention remarquable de la communauté de l’apprentissage automatique pour trouver des algorithmes d’apprentissage appropriés qui permettent d’exploiter ces bases de données multimodales pour former une image unifiée, lever l’ambiguïté/augmenter la robustesse du système. Au-delà de ces progrès remarquables, la société commence à se rendre compte que les systèmes conçus pour aider les gens dans diverses tâches peuvent également nuire aux individus/à la société de façon explicite ou implicite par des inférences non désirées. Cette thèse développe de nouvelles approches basées sur la fusion des données multimodales fournies par les systèmes Multi-capteurs couvrant deux perspectives principales. La première est liée au point de vue du problème d’apprentissage, où l’objectif est d’étudier comment fusionner plusieurs types d’informations pour exploiter efficacement le potentiel qu’elles offrent/donc améliorer la performance du système de reconnaissance. Bien que la deuxième porte sur les implications éthiques de l’application en étudiant, les risques potentiels liés à la protection de la vie privée lorsque la collecte de données non protégées à travers des capteurs sans autorisation est combinée à des inférences non désirées tirées de multiples modalités. Deux applications principales ont été étudiées dans le cadre de cette recherche. Il s’agit notamment des tâches liées à la classification des visages, y compris la classification du genre, du groupe ethnique/des expressions à l’aide des données couleur/de la profondeur fournies par le capteur Kinect,/du problème d’inférence vocale à l’aide des données de mouvement fournies par des capteurs sans permission intégrés aux appareils mobiles. Des expériences exhaustives ont été menées sur des ensembles de données de référence disponibles avec divers paramètres multimodaux/multi caractéristiques pour montrer d’abord l’efficacité de nos modèles/ensuite pour discuter de leurs préoccupations.