Die Analyse von Parlamentsdebatten mit multimodalen Daten (Text, Audio und Bild)

• Antragsteller: Professor Dr. Christian Stecker
• Fachliche Zuordnung: Politikwissenschaft ; Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 545741586

Die Politikwissenschaft hat die Kommunikation politischer Akteure, z. B. in Pressemitteilungen, Wahlprogrammen oder Reden, eingehend untersucht. Politische Kommunikation ist jedoch mehr als nur das geschriebene Wort. Auch die nonverbale Kommunikation spielt eine große Rolle, z.B. in Reden oder Wahlkampfspots. Unser Projekt berücksichtigt diese nonverbalen Informationen und bringt neue Erkenntnisse, indem es multimodaler Daten mit aussagekräftigen politikwissenschaftlichen Konzepten wie Salienz oder Stimmung zwischen den Parteien verknüpft. Jüngste technologische Fortschritte ermöglichen es, dieses Potenzial fruchtbar zu machen. Wir nutzen das Potenzial der multimodalen Analyse, d.h. die kombinierte Untersuchung von Text, Audio und Video. Unser Projekt verbindet neuartige Ansätze und erstellt einen originellen multimodalen Datensatz auf der Grundlage von Videoaufzeichnungen von Plenarreden, entwickelt innovative Metriken wesentlicher Konzepte und nutzt diese, um die Forschung in verschiedenen Bereichen voranzutreiben. Wir leisten drei Hauptbeiträge: Für unseren DATENBEITRAG kuratieren wir alle Parlamentsdebatten in den 16 deutschen Landtagen und dem Bundestag zwischen 2005 und 2023. Aus diesen Daten extrahieren wir diskrete Merkmale, z. B. gesprochene Worte, Stimmlage, Mimik und Körpersprache. Durch den Abgleich dieser Daten erstellen wir einen vollständig durchsuchbaren multimodalen Datensatz von mehr als 25.000 Stunden Reden. Als Beitrag zur MESSUNG werden im Projekt die acht wichtigsten politischen Emotionen automatisch annotiert: Wut, Angst, Ekel, Traurigkeit, Freude, Stolz, Begeisterung und Hoffnung. Wir quantifizieren auch Erregung und Valenz. Darauf aufbauend messen wir zwei prominente Konzepte: die Salienz von Themen und die Stimmung zwischen den Parteien. Tief verankert in einem multimodalen Verständnis politischer Kommunikation bieten wir einen nuancierteren und präziseren Ansatz als der derzeitige Stand der Forschung. Unser FORSCHUNGSBEITRAG nutzt den neuartigen Datensatz und die Messungen, um drei Forschungsbereiche voranzubringen: den Einfluss populistischer Parteien, die Dynamik des Themenwettbewerbs und die Stimmung (mood) zwischen den Parteien in einem politischen Mehrebenensystem. In diesen Studien werden multimodale Salienzmessungen eingesetzt, um die nonverbale Kommunikation von Themen zu verstehen, die Stimmung zwischen den Parteien durch den Blick des Sprechers zu interpretieren und die Auswirkungen populistischer Parteien durch Emotionsmessungen zu bewerten. Inhaltlich profitiert der Forschungsbeitrag von den methodischen Vorteilen des deutschen Mehrebenensystems, in dem 16 Landesparlamente verschiedene politische Konfigurationen anbieten. Darüber hinaus ermöglicht der Bundestag die Analyse von Mehrebenen-Effekten. Unser Projekt wird die politikwissenschaftliche Forschung durch die Anwendung eines multimodalen Rahmens vorantreiben und ein umfassenderes, nuancierteres Bild der parlamentarischen Kommunikation erarbeiten.

• DFG-Verfahren: Sachbeihilfen
• Internationaler Bezug: Großbritannien
• Kooperationspartner: Dr. Christian Arnold