Analyse multimodaler Interaktion im Geschichtenerzählen

• Antragsteller: Privatdozent Dr. Christoph Rühlemann
• Fachliche Zuordnung: Einzelsprachwissenschaften, Historische Linguistik
• Förderung: Förderung von 2019 bis 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 414153266

Das Geschichtenerzählen in der Konversation ist multimodal. Teilnehmer im Geschichtenerzählen verwenden "a 'bundle' of interacting behavioural events or non-events from different communicational subsystems (or 'modalities') simultaneously transmitted and received as a single (usually auditory-visual) Impression" (Crystal 1969: 97) und ihr verbales und non-verbales Verhalten bildet eine ganzheitliche Gestalt.Das beantragte Projekt setzt sich zum Ziel, Multimodalität im Geschichtenerzählen zu erforschen auf der Basis eines interdisziplinären Ansatzes, der korpus-linguistische, diskurs-analytische und konversations-analytische Herangehensweisen an multimodales Erzählen integriert und ihre Synergien nutzt. Die Integration wird geleistet in einem innovativen, multimodalen Korpus, dem Storytelling Interaction Corpus. Das Korpus umfasst Daten aus Video-Aufzeichnungen spontaner konversationeller Interaktion, die in Kooperation mit der Birmingham City University (BCU) erstellt werden. Im Unterschied zu multimodalen korpus-linguistischen Korpora, die auf orthographischer Transkription aufbauen, werden die Projekt-Daten nach konversations-analytischen Standards transkribiert, um so ergiebige multimodale Details in der Transkription sicherzustellen. Die konversations-analytischen Transkriptionen werden mittels XTranscript, einer in Kooperation mit BCU entwickelten Software, automatisch in XML-Transkripte umgewandelt. Zusätzlich zur konversations-analytischen Transkription und Annotation in XML erhalten die Daten korpus-linguistische Annotationen in Form von Part-of-Speech Tagging sowie diskurs-analytische Annotationen; die korpus-linguistische Annotation dient dazu, die morpho-syntaktische Funktion verbaler Aktionen zu bestimmen, die diskurs-analytische Annotation zielt darauf, Diskurs-Struktur, Diskurs-Rollen und Diskurs-Präsentation zu identifizieren. Weiter werden in Zusammenarbeit mit dem Freiburger Lehrstuhl für germanistische Linguistik quantitative Daten zum Blickverhalten mittels Eye-Tracking erhoben und in die XML-Architekur überführt. Die Grundlagen für die statistische Analyse des multimodalen Geschichtenerzählens werden von der XML-Struktur des Korpus bereitgestellt. Durch die Verwendung der XML-Abfragesprachen XPath und XQuery können relevante Daten in unbegrenzter Menge und Komplexität addressiert und aus dem Korpus extrahiert werden.Der Antragsteller beabsichtigt, die multimodale Interaktion des Geschichtenerzählens zu erforschen, indem er auf der Basis der interdisziplinären Ansatzes innovative Forschungsfragen untersucht, die von den drei Disziplinen Korpus-Linguistik, Diskurs-Analyse und Konversations-Analyse einzeln nicht ausreichend untersucht werden können. Diese Fragen betreffen die multimodalen Ressourcen in der Suspension des normalen Turntaking und der Direkten Rede sowie die Relation von Blickverhalten und (i) Erzählstruktur, (ii) Rezipienten-Turntaking und (iii) Klimax-Projektionsdesign.

• DFG-Verfahren: Sachbeihilfen
• Internationaler Bezug: Großbritannien
• Kooperationspartner: Professor Dr. Peter Auer; Dr. Matt Gee