Audiovisuelle Wahrnehmung von Emotion bei hörenden Personen und bei Nutzer*innen eines Cochlea-Implantats

• Antragstellerinnen / Antragsteller: Dr. Celina Isabelle von Eiff; Professor Dr. Stefan R. Schweinberger
• Fachliche Zuordnung: Allgemeine, Kognitive und Mathematische Psychologie ; Angewandte Sprachwissenschaften, Computerlinguistik
• Förderung: Förderung seit 2025
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 568082155

Auditives Sprachverständnis wird oft als Maßstab für den Erfolg von Cochlea-Implantaten (CIs) herangezogen. Diese Perspektive unterschätzt jedoch die zentrale Bedeutung visueller Hinweise in der Kommunikation. Sozio-emotionale Signale sind für CI-Nutzende besonders relevant und beeinflussen ihre Lebensqualität erheblich (Luo, Kern & Pulling, 2018; Schorr, Roth & Fox, 2009) - was die Bedeutung unterstreicht, den Beitrag visueller Informationen zur Kommunikation zu erforschen. Nach Modellen der Gesichter- und Stimmenwahrnehmung (Young, Frühholz & Schweinberger, 2020) können visuelle Reize auditive Cortexareale aktivieren, wobei Taubheit crossmodale kortikale Plastizität noch verstärken kann. Auch nach der Anpassung an ein CI bleibt der Einfluss visueller Informationen auf die Wahrnehmung von Sprache und das Erkennen des Sprechergeschlechts erheblich. In der ersten Förderphase haben wir solche Prozesse für die Erkennung stimmlicher Emotionen nachgewiesen. Um diese Forschung voranzutreiben, will dieses Projekt ein noch tieferes Verständnis jener Mechanismen gewinnen und Interventionen entwickeln, die Kommunikation und Lebensqualität verbessern. Im Mittelpunkt stehen postlingual ertaubte erwachsene CI-Nutzende, die mit biologisch hörenden Kontrollpersonen verglichen werden. In fünf Studien (S1-S5) untersuchen wir zentrale Aspekte der audiovisuellen (AV)-Emotionswahrnehmung. In S1 analysieren wir den Einfluss der temporalen Synchronizität auf die AV-Emotionserkennung. In S2 untersuchen wir die relativen Beiträge von Gesicht und Körper zur AV-Emotionswahrnehmung. Aufbauend auf vielversprechenden Ergebnissen zu emotionalen Karikaturen und perzeptuellem Training entwickeln und evaluieren wir in S3 ein AV-Training zur Verbesserung der Emotionserkennung. In S4 untersuchen wir, wie die Emotionsintensität die Erkennungsgenauigkeit beeinflusst. In S5 adressieren wir Hörherausforderungen in der "realen Welt" und erforschen Auswirkungen von Hintergrundgeräuschen multipler Sprecher auf die AV-Emotionswahrnehmung. In allen Studien analysieren wir die Beziehung zwischen Emotionswahrnehmung und selbstberichteter Lebensqualität. Dieses Projekt baut auf erfolgreicher, zuvor von der DFG geförderter Forschung auf, darunter die erste ViCom-Förderphase, Studien zur Stimmwahrnehmung (Schw 511/10-1, -2) sowie Forschung zur AV-Integration in der SprecherInnen- und Sprachidentifikation (Schw 511/6-1, -2). Zusätzlich profitieren wir von langjähriger Zusammenarbeit mit dem Universitätsklinikum Jena und dem Cochlea-Implantat-Rehabilitationszentrum Thüringen. Durch die vertiefte Erforschung der kognitiven Mechanismen multimodaler Wahrnehmung wird dieses Projekt entscheidende Erkenntnisse darüber liefern, wie visuelle Signale CI-Nutzende unterstützen können. Die Ergebnisse tragen dazu bei, sowohl die linguistische als auch die sozio-emotionale Kommunikation zu optimieren und die Lebensqualität von CI-Nutzenden nachhaltig zu verbessern.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2392: Visuelle Kommunikation. Theoretische, empirische und angewandte Perspektiven (ViCom)