Multimodal Stancetaking: Expressive Movement and Affective Stance. Political Debates in the German Bundestag and the Polish Sejm
Final Report Abstract
Im Rahmen des Forschungsprojekts wurde eine radikal neue Perspektive auf affektive Positionierungen in parlamentarischen Debatten entwickelt. Daraus entstand eine eigene Theorie und Methodologie zur Betrachtung von multimodalem Stancetaking und affektiver Stancetaking, die filmwissenschaftliche und linguistische Ansätze miteinander verbindet. Diese medienästhetische Perspektive rückt die Verschränkung körperlich-sprachlicher und audiovisueller Ausdrucksformen sowie die Generierung, Modulation und Modifikationen der Zuschauer-Affekte ins Zentrum von Theoriebildung und Methodenentwicklung. Sie dokumentiert, wie eine dezidiert kulturwissenschaftliche Perspektive für die linguistische Analyse von Sprachgebrauch als Form multimodaler Kommunikation fruchtbar gemacht werden kann. Ein wesentlicher Ertrag des Projekts besteht in der Einsicht, dass sich Sprechen im medialen Raum in audiovisuell orchestrierten Gestalten entfaltet, die die Zuschauer*innen an den Bildschirmen als Wahrnehmungsgestalten sehen, hören und fühlen. Als Ausdrucksbewegungen modulieren und generieren diese die Affekte der Zuschauer*innen. Wie und dass dies geschieht wird jedoch nicht durch Befragungen von Rezipient*innen ermittelt, sondern durch eine philologisch präzise filmwissenschaftlich-linguistische Analyse dieser audiovisuell orchestrierten sprachlich-gestischen Ausdrucksformen erfasst. Im Projekt wurde ein Instrumentarium entwickelt, dass es ermöglicht, die Wirkmacht zu beschreiben, die noch der kleinste Videoschnipsel auf einer sozialen Plattform die Gefühle der Zuschauer*innen entfalten kann. Damit ermöglicht das Projekt der internationalen Forschung zu multimodalem Stancetaking nicht nur einen innovativen methodischen Zugang, sondern auch ein neues Verständnis der Effekte, die Sprache und Gestik in audiovisuellen Bildern entfalten können. Nicht zuletzt wurde hier ein neuer Weg eröffnet, die Wirkung audiovisueller Bilder in verschiedenen medialen Ökologien auch über verschiedene Sprachkulturen hinweg systematisch zu erfassen. Damit leisten die Ergebnisse des Projekts einen wichtigen Beitrag zur Erforschung und kritischen Reflexion multimodaler, medial realisierter politischer Diskurse. Überrascht hat die Projektteams, dass sich sowohl die Grenzen der audiovisuellen Ausdrucksbewegungen und die Entfaltung der verschiedenen Affektdynamiken auch ohne Kenntnisse der jeweiligen Sprache problemlos herstellen ließ. Insgesamt waren wir überrascht, wie groß die Übereinstimmung in der Beschreibung der dynamischen Affektverläufe in den Analyse-Tandems war.
Publications
-
Linguist in the field: A practical guide to speech data collection, processing, and management (1. Aufl.). Wydawnictwo Rys Tomasz Paluszyński.
Karpiński, M. & Klessa, K.
-
Correction to: ANNPRO: A Desktop Module for Automatic Segmentation and Transcription. Lecture Notes in Computer Science, C1-C1. Springer International Publishing.
Klessa, Katarzyna; Koržinek, Danijel; Sawicka-Stępińska, Brygida & Kasperek, Hanna
-
High-pitched prominences in the speeches of male Polish members of parliament. Speech Prosody 2022, 367-371. ISCA.
Karpiński, Maciej; Jarmołowicz-Nowikow, Ewa & Klessa, Katarzyna
-
Dzielenie gestu na czworo. Intuicyjne i eksperckie określanie granic frazy gestowej. Przestrzenie komunikacji: Tom jubileuszowy dedykowany Profesor Jolancie Antas, 155-171. Ksiegarnia Akademicka Publishing.
Jarmołowicz-Nowikow, Ewa & Karpiński, Maciej
-
The prosody of high and low affective engagement in Polish and German parliamentary speeches. In: Radek Skarnitzl & Jan Volín (Eds.), Proceedings of the 20th International Congress of Phonetic Sciences (pp. 1658–1663). Guarant International. ISBN 978-80-908 114-2-3
Karpiński, M. ,Klessa, K., Sawicka-Stępińska, B. & Kasperek, H.
-
Affectivity as stance: multimodal stance-taking in audiovisual documentations of Polish and German parliamentary debates. Frontiers in Psychology, 15.
Müller, Cornelia; Karpiński, Maciej; Kindler-Mathôt, Clara; Klessa, Katarzyna; Jarmołowicz-Nowikow, Ewa; Junge, Jana Katharina; Papadopoulou, Katerina & Sawicka-Stępińska, Brygida
