Multimodale Sprachverarbeitung in statischen und dynamischen Cocktail-Party Situationen

• Antragsteller: Professor Dr. Hartmut Meister
• Fachliche Zuordnung: Hals-Nasen-Ohrenheilkunde, Phoniatrie und Audiologie
• Förderung: Förderung seit 2025
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 560945235

Bei der verbalen Kommunikation im Alltag sind mehrere Sinnesmodalitäten involviert. Zusätzlich zu auditiven spielen visuelle Merkmale, die für Menschen mit Hörstörungen oft von besonderer Bedeutung sind, eine wichtige Rolle. Dies gilt vor allem in Situationen mit mehreren Sprechern („Cocktail-Party“), in denen der Zielsprecher mittels multimodaler Informationen identifiziert und vom Hintergrund separiert werden muss. Die Signale können dabei allerdings in den verschiedenen Modalitäten in Konkurrenz treten und sich gegenseitig beeinflussen. Hinzu kommt, dass Cocktail-Party Situationen häufig dynamisch sind, da die Zielsprecher typischerweise wechseln. Welche Mechanismen in diesen komplexen Situationen eine Rolle spielen und unter welcher kognitiven Belastung und Anstrengung die multimodale Sprachverarbeitung abläuft, wurde bisher insbesondere vor dem Hintergrund von Hörstörungen nicht vollständig geklärt. Das Projekt soll einen umfassenden Beitrag leisten, diese Lücke zu schließen. Dazu werden unterschiedlich komplexe multimodale Szenen untersucht, wobei sowohl Videoaufnahmen als auch Simulationen basierend auf virtueller Realität zum Einsatz kommen. Damit können die Szenen in kontrollierter Weise verändert und die Konsequenzen für die Sprachverarbeitung auf verschiedenen Ebenen determiniert werden. Neben der Sprachverständlichkeit gehören hierzu die Erfassung von Blickbewegungen als Maß für die Aufmerksamkeitsausrichtung sowie die Pupillengröße als Maß für die kognitive Belastung. Damit liegen synchronisierte objektive Daten vor, die eine genauere Aufschlüsselung der Mechanismen ermöglichen, als es in den meisten bisherigen Studien zu diesem Thema möglich war. In die Untersuchungen werden Versuchspersonen mit unterschiedlich stark ausgeprägten Hörstörungen, sowie mit Cochlea Implantaten versorgte Personen und eine Kontrollgruppe guthörender Probanden einbezogen. Das übergeordnete Ziel ist, durch Berücksichtigung dynamischer multimodaler Cocktail-Party Situationen einen erheblich besseren Alltagsbezug zu gewährleisten, als es bislang durch die begrenzte Untersuchung auf der auditiven Ebene möglich war. Dabei sollen grundlegende Mechanismen in komplexen audiovisuellen Szenen aufgedeckt, anwendungsorientiert Unterschiede zwischen den verschiedenen Studiengruppen beschrieben, sowie methodisch neue Wege bezüglich der Stimuluspräsentation und der Erfassung relevanter Daten etabliert werden. Es wird erwartet, dass auf der Basis dieses Erkenntnisgewinns verbesserte klinische Prozeduren vorangetrieben werden, die eine größere ökologische Validität und höhere Individualisierung der Diagnostik und Rehabilitation von Hörstörungen gewährleisten.

• DFG-Verfahren: Sachbeihilfen
• Internationaler Bezug: Belgien
• Kooperationspartnerin: Professorin Dr. Astrid van Wieringen