Quantifizierung der Gestenformanalyse (quantitative GFA) Anpassung der GFA an Gesten in Gebärdensprache und Entwicklung eines interdisziplinären Kodiersystems

• Antragsteller: Dr. Julius Hassemer
• Fachliche Zuordnung: Allgemeine und Vergleichende Sprachwissenschaft, Experimentelle Linguistik, Typologie, Außereuropäische Sprachen
• Förderung: Förderung von 2015 bis 2017
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 281272438

Gesture Studies, ein junges Forschungsfeld, das in der Psychologie, der Anthropologie, der Linguistik und der Informatik auf immer größeres Interesse stößt, verfügt bislang weder über eine einheitliche Gestentypologie, noch über die Grundlagen für solch eine Typologie. Es herrscht Einigkeit darüber, das redebegleitende Gesten Bedeutung über die physikalische Form und Bewegung der Hand herstellen--oft durch ikonische Repräsentationen von Objekten oder die Imitation praktischer Handlungen (e.g., Calbris 2003; Cienki 2005; Efron 1941; Kendon 2004; Kita et al. 2007; Mittelberg 2010; Müller 2008; Streeck 2009). Jedoch gibt es grundlegende Widersprüche zwischen existierenden Kategorisierungen, die sich unter anderem in der Anzahl der Gestenypen niederschlagen. Diese reichen von 4 (Müller 1998) über 12 (Streeck 2008) bis hin zu 84 (Sowa 2006), was vergleichende Studien erschwert.Die Gestenformanalyse (GFA) ist ein Theorierahmen, der eine systematische, form-basierte Kategorisierung ermöglicht, indem er die Ansätze der oben zitierten Autoren zusammenführt. Grundannahmen der GFA konnten bereits durch die Ergebnisse einer Motion-Capture-Studie gestützt werden (Hassemer Dissertation).Zwei Entwicklungsschritte stehen allerding noch aus, um die GFA zu einem effektiven, interdisziplinären und vergleichbaren Kodierungsschema für alle Formen der körperlich-visuellen Kommunikation zu entwickeln: Die GFA muss (1) auf die Analyse gestischer Elemente innerhalb von Gebärdensprache angewendet werden. (2) Die Kodierungsprozedur muss quantifizierbar gemacht und in eine Annotationssoftware (ELAN) eingebunden werden. Neben diesen zwei Hauptgesichtspunkten, ist ein weiteres Ziel des Forschungsprojekts, (3) das Potential der GFA für automatische Gestenerkennung zu eruieren.An der University of São Paulo (USP) bietet sich ein ideales Umfeld für diese Arbeiten. Gastgeber Prof. Leland McCleary ist vertraut mit der GFA und veröffentlichte Arbeiten zur Analyse und Transkription gestischer Elemente in brasilianischer Gebärdensprache; gemeinsam mit seiner Kollegin Prof. Viotti, die--wie auch die folgenden Professoren der USP--bereits ihr Interesse an einer Kollaboration mit diesem Projekt ausgedrückt hat. Die Zusammenarbeit mit Prof. Barbosa, der auf die phonetischen Variationen von Gebärdensprachen spezialisiert ist und über ein Motion-Capture-Labor verfügt, und der Machine-Learning-Spezialistin Prof. Peres ermöglicht uns die Erhebung neuer 3D-Daten, sowie der computergestützte Mustererkennung innerhalb der GFA-Kategorien.Zur Unterstützung des Forschungsziel (2) dient die Erfahrung der erfolgreichen Kollaboration (mit Han Sloetjes, MPI Nijmegen) zur Erstellung eines Elan-Plugins zur Automatischen Annotation (EPAA, Hassemer Dissertation). Forschungsziel (3) wird dadurch begünstigt, dass wir bereits über einen aufbereiteten 3D-Datenkorpus mit zusätzlichen highspeed-Videokameras verfügen, der auch als Anschauungskorpus für GFA-Kategorien veröffentlicht werden kann.

• DFG-Verfahren: Forschungsstipendien
• Internationaler Bezug: Brasilien
• Gastgeber: Professor Leland Emerson McCleary, Ph.D.