Sprachbegleitende Gesten und Prosodie als multimodaler Ausdruck der Informationsstruktur

• Antragstellerinnen / Antragsteller: Professor Dr. Frank Kügler; Professorin Pilar Prieto, Ph.D.
• Fachliche Zuordnung: Allgemeine und Vergleichende Sprachwissenschaft, Experimentelle Linguistik, Typologie, Außereuropäische Sprachen
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 502013510

Das Projekt untersucht, wie ein wichtiger Teil der Semantik und Pragmatik, die Informationsstruktur (IS), multimodal kodiert wird. Während die Interaktion zwischen IS, Syntax und Prosodie intensiv untersucht wurde, ist über die multimodale/gestische Markierung von IS weniger bekannt. Wir untersuchen den multimodalen Ausdruck von Fokus, einer kognitiven Kategorie der IS, die eine Konstituente einer Alternativenmenge identifiziert (Krifka 2008). Der Fokus hebt Informationen hervor, und wir untersuchen, ob sich die zunehmende pragmatische Bedeutung von Fokustypen in ansteigenden prosodischen und gestischen Cues ausdrückt. Das Hauptziel des Projekts ist es, multimodale Fokusmarkierung in Produktion, Wahrnehmung und Kognition zu untersuchen in Bezug auf Prosodie und Gestik in den zwei typologisch unterschiedlichen Sprachen Katalanisch und Deutsch. Die erste Projektphase führte zu zwei wichtigen Erkenntnissen: (a) der Ausdruck von Fokustypen ist sowohl im Katalanischen als auch im Deutschen multimodal kodiert bezüglich auf zeitliche Ausrichtung, prosodische und gestische Prominenz und Gestenverteilung; (b) Gesten operieren unabhängig von der Prosodie, was auf die Präsenz zweier separater Realisierungen der Fokusmarkierung hinweist, d.h. prosodisch und gestisch. Deshalb ist das Hauptziel der zweiten Phase, die multimodale Realisierung von Fokus im Diskurs aus drei unterschiedlichen, komplementären Perspektiven zu untersuchen: Produktion, Wahrnehmung und Kognition. Die ersten drei Teilbereiche des Projekts sind wie folgt strukturiert. Teilbereich 1 wird die Ergebnisse aus den Produktionsdaten erweitern, indem die Beziehung zwischen akustischen und visuellen Cues bei der Markierung von Fokustypen im zeitlichen und räumlichen Bereich eingehend untersucht wird. Teilbereich 2 wird die Rolle von Gestik und Prosodie aus einer Wahrnehmungsperspektive bewerten und insbesondere den Beitrag von gestischen und prosodischen Cues zum Verständnis von Fokustypen untersuchen. In Teilbereich 3 wird die kognitive Nutzung von Gesten bei der Diskursstrukturierung auf der Grundlage der Gesture-for-Conceptualization-Hypothese (Kita et al. 2017) untersucht. Dies wird zeigen, ob die Prominenz von Gesten die selbstorientierten kognitiven Funktionen während der Diskursproduktion signifikant beeinflusst, insbesondere bei der Aktivierung, Manipulation, Verpackung und Erforschung von Diskursinformationen. Der Teilbereich 4 befasst sich schließlich mit einem zentralen methodischen Ziel des Projekts, nämlich der Weiterentwicklung des Konzepts der gestischen Prominenz. Dies wird durch die Auswertung kinematischer Merkmale von Gesten erreicht, die zur Verfeinerung von Strategien für die Annotation von Gestenprominenz beitragen werden. Insgesamt erwarten wir zur Entwicklung differenzierterer Modelle der multimodalen Sprachverarbeitung und -produktion sowie zu einer umfassenden Sicht auf die Schnittstelle zwischen Pragmatik, Gestik und Prosodie beizutragen.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2392: Visuelle Kommunikation. Theoretische, empirische und angewandte Perspektiven (ViCom)
• Internationaler Bezug: Spanien