Videorealistische Gesichtsanimation mit natürlichem Gesichtsausdruck für interaktive Dienste

• Applicant: Professor Dr.-Ing. Jörn Ostermann
• Subject Area: Electronic Semiconductors, Components and Circuits, Integrated Systems, Sensor Technology, Theoretical Electrical Engineering
• Term: from 2009 to 2014
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 158317137

Aktuelle Untersuchungen haben ergeben, dass bildbasierte Verfahren in der Lage sind, natürliche Gesichtsanimationen für innovative multimodale Mensch-Maschine Schnittstellen zu erzeugen. Der Entwurf eines solchen Animationssystems beinhaltet zwei Schritte. Zuerst müssen audiovisuelle Daten von einer sprechenden Person analysiert werden, um eine Datenbank zu erstellen, die Mund- und Augenbilder sowie die dazu gehörigen Gesichts- und Sprachmerkmale enthält. Anschließend wird in der sogenannten Synthese das animierte Gesicht erstellt, indem die Augen- und Mundbilder passend zur synthetisierten Sprache aus der Datenbank gewählt und zu einem Video zusammengesetzt werden. Unser preisgekröntes bildbasiertes Gesichtsanimationssystem soll mit natürlichen Gesichtsausdrücken erweitert werden, die von Parametern gesteuert werden, die aus einer Analyse der Zusammenhänge zwischen Gesichtsausdrücken und prosodischen Sprachmerkmalen gewonnen werden. Ergänzend soll der Zusammenhang zwischen den prosodischen Eigenschaften der Stimme und der Kopfbewegung untersucht werden. Um Echtzeitanwendungen zu ermöglichen, sind Verfahren zu entwickeln, die den Speicherbedarf der Datenbank reduzieren.

• DFG Programme: Research Grants