Audiovisuelle Wahrnehmung von Emotion und Sprache bei hörenden Menschen und bei NutzerInnen eines Cochlea-Implantats

• Antragsteller: Professor Dr. Christian Dobel; Professor Dr. Volker Gast; Professor Dr. Stefan R. Schweinberger
• Fachliche Zuordnung: Allgemeine, Kognitive und Mathematische Psychologie ; Allgemeine und Vergleichende Sprachwissenschaft, Experimentelle Linguistik, Typologie, Außereuropäische Sprachen
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 501994399

Kommunikation über gesprochene Sprache gilt als Maßstab für den Erfolg von Cochlea-Implantat (CI) Interventionen, doch vernachlässigt dies den wichtigen Beitrag visueller Informationen zur Kommunikation. Wir sehen aufgrund der Relevanz sozio-emotionaler Signale und deren Bedeutung für die Lebensqualität mit einem CI (Luo, Kern, & Pulling, 2018; Schorr, Roth, & Fox, 2009) hier Forschungsbedarf. Wir nutzen Modelle der Kommunikation über Gesicht und Stimme (Young, Frühholz, & Schweinberger, 2020) und berücksichtigen, daß Gehörlosigkeit cross-modale kortikale Plastizität hervorrufen kann, bei der visuelle Stimuli auditorische Cortexgebiete aktivieren. Auch nach der Anpassung an ein CI scheinen visuelle Informationen besonders stark zur Sprach- oder Personenwahrnehmung beizutragen. Ein Verständnis der dem zugrundeliegenden neurokognitiven Prozesse ist für effiziente Interventionen zur Verbesserung der Kommunikation im Dienst besserer Lebensqualität nötig. Wir untersuchen hier postlingual (nach dem Spracherwerb) ertaubte Erwachsene mit CI in vier Studien (S1-S4). S1 wird als systematisches Review den Wissensstand bezüglich der Rolle visueller Informationen (aus Gesicht oder händischen Gesten) für die Emotions- und Sprachwahrnehmung bei hörenden Menschen und CI-Nutzer*innen zusammenfassen. S2 untersucht in einem Experiment mit zeitsynchronisierten audiovisuellen Stimuli, ob CI-Nutzer*innen beim Erkennen von Emotionen in der Stimme stärker von kongruenten Emotionen im Gesicht profitieren als hörende Menschen. In dieser Studie soll durch Voice Morphing Technologie die auditorische Performanz beider Gruppen kontrolliert und angeglichen werden. In S3 werden Gehirnkorrelate audiovisueller Integration (AVI) für emotionale Stimuli in ereigniskorrelierten Potentialen (EKPs) aufgezeichnet, und es wird untersucht inwieweit kongruente AV Stimuli die neuronale Verarbeitung beschleunigen. Hier untersuchen wir die Beziehung zwischen neuronalen Markern der AVI und der behavioralen Emotionserkennung. S4 untersucht, inwieweit ein perzeptuelles Training mit karikierten gemorphten vokalen Emotionen die auditorische und audiovisuelle Emotionserkennung mit einem CI verbessern kann. In allen Experimenten bestimmen wir Beziehungen zwischen Fähigkeiten zur Emotionserkennung und berichteter Lebensqualität. Das Projekt basiert auf zwei vorangegangenen erfolgreichen DFG-Projekten Wahrnehmung von Stimmen und Audiovisuelle Integration bei der Identifikation von Sprecher und Sprache, sowie unserer langjährigen Kooperation mit dem Cochlear-Implant Rehabilitationszentrum Thüringen. Die Ergebnisse werden in Modelle der neurokognitiven Mechanismen multimodaler Wahrnehmung in der Kommunikation einfließen. Ein besseres Verständnis der Mechanismen, aufgrund derer CI Nutzer*innen visuelle Signale nutzen, wird zu einer Verbesserung linguistischer und sozio-emotionaler Kommunikation – und letztlich der Lebensqualität – mit einem CI beitragen.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2392: Visuelle Kommunikation. Theoretische, empirische und angewandte Perspektiven (ViCom)