Nouvelles méthodes de reconstruction 3D incrémentale à partir des vues 2D

Abstract

La reconstruction 3D à partir d’images/vidéos est un sujet important et largement étudié ces dernières décennies. Son importance se traduit par la diversité des domaines d’application : la robotique, le contrôle de qualité, la surveillance, la médecine, la reconnaissance de forme, la réalité augmentée, les jeux vidéo, et d’autres. Le processus de reconstruction 3D consiste à récupérer l’information 3D à partir d’images 2D prises de différents points de vue ou à partir de séquences de vidéos (sélection d’un ensemble d’images clés à partir de la vidéo). Il nécessite la résolution de plusieurs problèmes : l’estimation des paramètres de la caméra, la détection et l’appariement/suivi de points d’intérêt entre les images, la récupération de points 3D, l’ajustement de faisceaux, etc. Cette thèse présente les travaux réalisés au cours de notre recherche dans le but de développer des nouvelles méthodes de reconstruction 3D multi-vues. Pour ce faire, trois approches différentes ont été proposées. Nous avons développé un système de reconstruction 3D incrémentale basé sur l’utilisation d’un système de stéréovision binoculaire, constitué de deux caméras non attachées, pour l’initialisation fiable de système de reconstruction. Après, la deuxième caméra se déplace pour capturer d’autres images. Ces images sont insérées progressivement en se basant sur l’information 3D déjà estimée et l’ajustement local de faisceaux. Nous avons aussi proposé un système complétement automatique qui utilise une seule caméra caractérisée par des paramètres variables. Celle-ci se déplace pour capturer des images ou pour filmer des vidéos. Ce système est initialisé à partir de deux images sélectionnées avec un grand déplacement de la caméra et un nombre suffisant de points d’intérêt appariés. Dans ce contexte, nous avons proposé une nouvelle méthode pour l’auto-calibration de la caméra à partir de deux images. L’insertion de nouvelles images se fait d’une façon incrémentale en se basant sur l’information 3D déjà estimée, l’ajustement local de faisceaux et l’intégration convenable de l’ajustement global de faisceaux. La troisième contribution de cette thèse est une nouvelle méthode de reconstruction 3D basée sur l’algorithme modifié de propagation de germes en utilisant l’optimisation par essaim de particules. Cette méthode permet une amélioration significative de la reconstruction 3D éparse par la récupération de nouveaux points 3D bien répartis sur la surface d’objets/scènes. Les approches proposées ont été testées et évaluées sur plusieurs séquences d’images et vidéos. En termes de qualité et de rapidité, les résultats obtenus prouvent la valeur ajoutée de nos approches par rapport à des méthodes de l'état de l'art.