Investigating multimodal interaction in storytelling
Final Report Abstract
Das Projekt “Analyse multimodaler Interaktion im Geschichtenerzählen” zielte auf die Erforschung sozialer Praktiken im Geschichtenerzählen in der Englischen Konverstaion mit besonderem Fokus auf Quantifizierung. Die wissenschaftlichen Fortschirtte, die dabei erzielt wurden, bestehen i. W. zum einen in der Entwicklung einer Methodik, die es ermöglicht, die Multimodalität im Geschichtenerzählen und ihren Niederschlag in der emotionalen Resonanz aller am Geschichtenerzählen Beteiligten umfassend zu analysieren. Es ist zu hoffen, dass diese Methodik in Folgeuntersuchungen noch ausgebaut und verfeinert werden kann. Einzelne multimodale Aspekte, wie zum Beispiel die Expressivität von Gesten und ihr Beitrag zur emotionalen Ansteckung, wurden bereits vertieft und verfeinert. Darüberhinaus gelang es, trotz enormer technologischer Herausforderungen und trotz der COVID-Pandemie, ein Korpus zu erstellen, das in seiner Granularität und multimodalen Breite bisher das einzige seiner Art ist. Das Forschungspotenzial des FreMIC-Korpus ist nicht zu überschätzen. Es ermöglicht nicht nur die profunde Erforschung des Geschichtenerzählens in der Englischen Konversation, sondern weist weit darüberhinaus. Dies geht aus der Tatsache hervor, dass FreMIC als Datengrundlage für das gegenwärtige Forschungsprojekt “Der Beitrag multimodaler Abschlussignale zur zeitlich präzisen Turn- Übergabe” angenommen wurde, an dem namhafte Wissenschaftler*innen aus Deutschland, Holland, und den USA mitwirken. Das Potenzial wird auch offenbar an der breiten Resonanz, die das Korpus in der Forschungscommunity gefunden hat, und den vielfältigen Publikationen, die jetzt im Entstehen begriffen sind, die alle an der Schnittstelle von Interaktion, Kognition, und Emotion beheimatet sind.
