Solving normal instability in 3D reconstruction problems
Master thesis
Stage de Master 2 Recherche à l’ INRIA.
Profile idéal: étudiant de Master 2 en mathématiques appliquées et vision par ordinateur.
Problème général et applications:
Reconstruction de scènes 3D à partir d’images (stéréovision multivue, stéréo photométrique et "shape from shading").
Outils et cadres mathématiques:
Méthodes variationnelles et EDP, évolutions de surfaces, méthodes "level-set", déformation de maillages, "graph cuts",...
Difficultés à considérer et à résoudre:
Gestion ou contournement des difficultés rencontrées dès que l’on utilise la normale à la surface pour modéliser ces problèmes; ces difficultés étant en particulier des problèmes d’instabilité lors de l’évolution des surfaces au cours de l’optimisation.
Sujet détailé:
La prise en compte et l’exploitation des vecteurs normaux à la surface deviennent une véritable nécessité dès lors que l’on introduit de la photométrie dans la modélisation des problèmes de reconstruction 3D. Ce besoin apparaît dans tous les protocoles expérimentaux classiques comme par exemple en stéréovision multivue, en stéréo photométrique ou en "Shape From Shading",...
[aussi, au cours de ce stage, nous ne nous concentrerons pas sur un protocole particulier; de ce point de vue, nous regarderons le problème dans sa globalité].
Bien qu’aujourd’hui, on sache correctement dériver les fonctionnelles basées sur une pondération de la surface dépendant de la normale, les gradients que l’on obtient à partir des énergies naturelles aboutissent à des évolutions instables.
Cette difficulté est aujourd’hui bien connue et a été étudiée dès la fin des années 80 par Horn et al. dans ces travaux sur le Shape From Shading [1].
Le Shape From Shading est en effet le cadre le plus simple (cas d’école) dans lequel survient ce problème d’instabilité [dès lors que l’on tente d’optimiser le problème dans un cadre variationnel].
Ces difficultés sont aussi naturellement présentes lorsque l’on traite des problèmes ``plus compliqués’’ en exploitant la normale à la surface: voir par exemple les travaux de Jin et. al [2]
sur la reconstruction 3D multivue et les travaux d’Hernández et al. sur le "multiview photometric stereo" [3].
Pour contourner ce problème, la solution communément adoptée consiste à utiliser un champ de vecteurs auxiliaire. C’est le cas par exemple des plus récents et plus pertinents travaux dans le domaine [
2
,
3
].
Cette solution est en fait celle initialement sugérée par Horn [4].
Cependant cette solution est en fait très peu élégante. En particulier, elle aboutit à l’introduction de paramètres additionnels [non justifiés par la modélisation], et elle se traduit généralement par un décrochement entre le champ de vecteurs auxiliaire représentant le champ de normales (souvent sur-régularisé) et la géometrie locale de surface (qui est très souvent très bosselée, en particulier à cause de problèmes numériques!). En d’autres termes la relaxation introduite par cet artifice est trop importante.
Très récemmment, Vogel et al. ont proposé un nouvel algorithme (qui semble très performant!) de Shape From Shading basé sur les méthodes variationnelles et ne nécessitant pas l’introduction du champ de vecteurs auxiliaire [5].
Vogel et al. contournent le problème en utilisant une régularisation d’ordre plus élevé.
Buts du stage:
Le but du stage est alors de:
1) bien comprendre les problèmes d’instabilité rencontrés dans les différents propotoles; de les analyser et les formaliser dans un cadre transversal et le plus général possible.
2) essayer de contourner le problème, dans le cadre genéral, en s’inspirant de la méthode proposée par Vogel et al. [6].
Mots clés et cadre mathematique:
* Méthodes variationnelles, évolutions de surface, modèles déformables (méthodes "level-set" et déformation de maillages).
* reconstruction 3D, stéréovision multivue, stéréo photométrique, "shape from shading",
* photométrie, normale à la surface, modélisation.
Contact
The project will be carried out in the PERCEPTION group at INRIA Rhône-Alpes, under the supervision of
Dr. Emmanuel Prados.
Emmanuel Prados is strongly involved and recognized in Applied MATHEMATICS and COMPUTER VISION communities. He is regularly invited for talks, organising meetings and publishing papers in Applied MATHEMATICS workshops as well as COMPUTER VISION conferences.
For applying, please, send your CV and marks sheet to Emmanuel.Prados@inrialpes.fr.
Related links
PERCEPTION Lab,
INRIA Grenoble homepage,
Start date: 1 April 2008
Contact person: Emmanuel PRADOS
Deadline: 1 February 2008
