Évaluation sans référence de la qualité des maillages 3D : Exploitation de l’apprentissage profond et la saillance visuelle

Abstract

De même que les images et les vidéos, la qualité perceptuelle des maillages 3D peut être affectée par plusieurs facteurs externes (tatouage, compression, simplification, etc.). Afin d'estimer l'impact de ces traitements, plusieurs mesures de qualité ont été proposées dans la littérature. Ils existent actuellement trois grandes familles de métriques : référence complète (FR) qui suppose que le maillage de référence est disponible, référence réduite (RR) qui exploite uniquement des caractéristiques du maillage de référence et les mesures sans référence (NR), appelées également aveugle, qui n'ont accès à aucune information du maillage de référence. Un certain nombre de méthodes à référence complètes ou réduites ont été proposées afin d'estimer la qualité visuelle perçue des maillages 3D. Cependant, dans la plupart des situations pratiques, l'accès aux informations relatives à la référence et au type de distorsion est limité. Pour ces raisons, le développement d'une méthode de qualité visuelle sans référence est une problématique cruciale. Dans ce cadre, nous nous intéressons dans cette thèse à l'évaluation sans référence de la qualité perceptuelle des maillages 3D. La première contribution porte sur la proposition d'une méthode basée sur une approche d’apprentissage afin de prédire les scores de qualité. Cette méthode utilise des caractéristiques extraites à partir du maillage déformé et des méthodes d'apprentissage pour l'estimation de la qualité visuelle. Quant à la seconde contribution, l'apprentissage profond est exploité pour estimer la qualité. Nous commençons par un réseau CNN simple et ensuite nous utilisons des réseaux plus profonds avec une combinaison basée sur le Compact Multi-linear Pooling (CMP). Dans la troisième contribution la saillance visuelle 3D est exploitée pour préparer les données d'apprentissage. Les architectures CNN sont alimentées par des petits patchs soigneusement sélectionnés en fonction de leur niveau de saillance. Dans la dernière contribution, nous introduisons une méthode "model-based» utilisant des réseaux convolutionnels de graphes (GCN) pour traiter directement le modèle 3D lui-même sans utiliser des patchs rendus (image-based).