Learning-based computer vision approach for the analysis and synthesis of photo realistic 3D facial expressions

• Applicant: Professor Dr.-Ing. Cristóbal Curio
• Subject Area: Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
• Term: from 2006 to 2012
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 17997601

Die Ergebnisse der ersten zwei Projektjahre werden vorgestellt und in Zusammenhang mit den geplanten Arbeiten für das hiermit beantragte dritte Projektjahr gesetzt. Das technische Hauptziel dieses Antrags ist, 3D Gesichtsausdrücke mit maschinellen Lernmethoden und Computer Vision zum Tracking für die Gesichtsbewegungs-Analyse und -Animation zu parametrisieren. Hierzu werden dynamische Gesichtsausdrücke mit dynamischen 3D Strukturlicht-Scandaten (3D Punktwolken) und qualitativ hohen Textursequenzen ausgewertet. Daraus abgeleitete Animationsmodelle ermöglichen die Durchführung neuartiger Wahrnehmungs-Experimente. Übergeordnetes Ziel ist, die Frage zu beantworten, wie das Gehirn dynamische Gesichtsausdrücke wahrnimmt und kodiert. Der Fokus liegt hierbei in der Untersuchung des Einflusses von Form (Shape+Textur) und der Bewegungsinformation in non-verbalen Gesichtsausdrücken. Parallel zu den technischen Arbeiten zum Parametrisieren von dynamischen Oberflächenmessungen haben wir in Kollaboration mit Paketantrag-Projektpartner Prof. M. Giese (ARL) erfolgreich die Basis für dynamische Wahrnehmungsstudien etabliert. Zum einen beabsichtigen wir im weiteren Forschungsvorhaben durch neue generative 3D Gesichtsmodelle bessere Animationen und modellbasierte Verfahren für die Modell-Rekonstruktion zu erstellen. Des weiteren werden neue dynamische Computer-Grafik-Stimuli in Wahrnehmungsstudien dazu beitragen, weitere Randbedingungen für neuronal plausible Modelle zur Erkennung von dynamischen Gesichtsausdrücken zu ermitteln.

• DFG Programme: Research Grants