Stage ingénieur - Dévelopement d'une tête robotisée audio-visuelle
Student internship
Description du stage
Dans le contexte du projet européen POP, nous mettons en oeuvre une tête robotisée contenant une paire de caméras stéréoscopique (vision) ainsi qu’une paire de microphones (audio). La tête possède deux degrés de liberté en rotation (pan et tilt) et deux degrés de liberté permettant aux deux caméras de fixer un point de l’espace. L’ensemble (moteurs, caméras et microphone) est piloté par un PC-Linux.
L’objectif est de réaliser un systeme d’attention auditif et visuel capable de detecter le visage d’une personne qui parle, en présence d’autres visages et éventuellement d’autres orateurs, de suivre ce visage lors du deplacement de la personne, ainsi que d’être capable de "basculer" sur une autre personne.
Nous possédons un ensemble d’algorithmes qui utilisent la vision d’une part, l’audition d’autre part. En particulier nous avons des algorithmes de stereovision (calcul de la profondeur à partir des deux images des deux cameras) ainsi que des algorihtmes de détection de la direction de la source sonore (cette détection se base sur l’estimation de l’interaural time difference, ou ITD). Les algorithmes de fusion audio-visuelle sont en cours d’élaboration.
Cette tête sera disponible a l’INRIA Rhône-Alpes à partir du 20 octobre 2007. Elle servira comme démlonstrateur dans le cadre du projet POP (la démonstration aura lieu a l’Université de Sheffield au mois de mars 2008)
Déroulement du stage et travail à effectuer
Dans un premier temps il s’agira de permettre l’intefaçage avec le controleur des moteurs. Une librairie C++ sous linux permet de dialoguer avec la carte de contrôle des quatres moteurs de la tête robotisée. Il conviendra donc de concevoir une interface de plus haut niveau permettant la gestion de la tête robotisée. Cette implémentation se déclinera sous la forme d’une librairie, ainsi qu’une interface graphique en guise de démonstrateur et testeur.
Dans un deuxième temps, la tête sera équipée de microphones. Le but sera d’intégrer la gestion de la partie audio à l’interface de gestion de la tête robotisée. Par ailleurs la gestion video existe déjà et il s’agira de rendre disponible de manière simple, les données audio-visuelles et s’assurer de leur synchronisation.
Ensuite il s’agira de travailler avec les chercheurs et doctorants qui ont conçu les algorithmes de stereo, de localisation sonore, et de fusion audio-visuelle et de les intégrer sur la tête robotisée.
Le travail se déroulera au sein de l’équipe projet Perception, de la manière suivante :
Etude préliminaire :
Comprendre les besoins de l’équipe projet Perception
Prendre en main la tête robotisée et les librairies de contrôle existantes
Spécifier l’architecture de l’interface à développer
Etudier et spécifier l’intégration de la partie audio
Conception et intégration :
Développer l’interface sous la forme d’une libraire C
Développer une application de type démonstrateur en QT/C++
Développer la gestion des microphones et l’intégrer à l’interface de gestion de la tête robotisée
Tests, validation et documentation
Outils utilisés :
Linux
C/C++
QT
Compétences requises :
Développement logiciel
Electronique numérique
Notions de mécanique
Mots clés : Robotique, Intégration logicielle, vision stereo, audition binaurale.
Niveau requis : Le stage s’adresse a des eleves-ingenieurs ou equivalent.
Maîtres de stage : Bertrand HOLVECK, Hervé MATHIEU
Rémunération : une indemnité de stage est prévue, elle se négociera avec le stagiaire en fonction de ses compétences et du lieu exact ou il/elle effectue les études.
Durée du stage : 6 mois
Candidature : Envoyer lettre de motivation et CV à Bertrand HOLVECK
Start date: 1 February 2008
Contact person: Bertrand HOLVECK
Deadline: 1 December 2007
