Videobasierte Erfassung von Gestik und Mimik für die Gebärdenpracherkennung

• Applicant: Professor Dr.-Ing. Karl-Friedrich Kraiss
• Subject Area: Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
• Term: from 2000 to 2006
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 5292154

Gebärdensprachen stellen vollwertige lebendige Sprachen für die Kommunikation von und mit Gehörlosen dar. Die Vermittlung linguistischer Inhalte erfolgt dabei durch die Kombination von manuellen und nicht-manuellen Parametern. Leider werden Gebärdensprachen nur von wenigen Hörenden beherrscht. Daher kann die computergestützte Erkennung von Gebärdensprache in Anwendungen wie Übersetzungs- oder Lernsystemen als Hilfsmittel zur Integration von Gehörlosen in unsere vornehmlich aus Hörenden bestehende Gesellschaft eingesetzt werden. Ein System zur Erkennung der deutschen Gebärdensprache wird derzeit am LTI entwickelt. Es arbeitet mit einer Videokamera als Eingabegerät und farbig markierten Handschuhen zur Extraktion der manuellen Parameter. Erkannt werden ganze Gebärdensätze aus einem thematisch beschränkten Vokabular von 152 Gebärden mit einer Akkuratheit von 91,9%. Ziel ist die Erweiterung des existierenden Systems um ein größeres themenunabhängiges Vokabular, dessen Realisierung durch Gebärden-Untereinheiten -ähnlich den Phonemen in der Lautsprache - beabsichtigt ist. Ebenso wird die Interpretation der Mimik des Gebärdenden angestrebt, weil sich darüber wichtige sprachliche Inhalte codieren lassen. Desweiteren soll das System an die Bedingungen einer realistischen Umgebung angepaßt werden, um eine umgebungs-, benutzer- und hilfsmittelunabhängige Funktionalität zu gewährleisten.

• DFG Programme: Research Grants