Audiovisuelle Sprachwahrnehmung von Cochlea-Implantat Nutzern
Zusammenfassung der Projektergebnisse
Das Projekt widmete sich der Tatsache, dass die verbale Kommunikation im Alltag auf multimodalen Informationen beruht. Insbesondere für Nutzer von Cochlea-Implantaten (CI) sind neben auditiven Signalen auch visuelle Sprachinformationen von Bedeutung. Die Mechanismen der multisensorischen Sprachwahrnehmung wurden bislang nur unzureichend verstanden und im klinischen Alltag wenig berücksichtigt. Hierzu leistete das Projekt einen signifikanten Beitrag, indem basierend auf Techniken virtueller Realität (VR) umfangreiches Material für die audiovisuelle Stimulation entwickelt wurde. Auf dieser Grundlage konnten unterschiedliche Aspekte der audiovisuellen Sprachwahrnehmung bei CI-Nutzung untersucht werden. Hierzu zählten das Verstehen von Sprache in akustisch schwierigen Situationen, Mechanismen der kortikalen Reorganisation, sowie die Wahrnehmung prosodischer Merkmale. VR-basiert wurden Stimuli realisiert, welche Sprachmaterialen für Silben-, Einzelwort-, Matrixsatz- und Alltagssatz-Testverfahren bereitstellen. Darüber hinaus wurden hinsichtlich der Untersuchung der Identifikation von Satzakzenten virtuelle Charaktere generiert, die neben Artikulationsbewegungen des Mundes auch Gesichts- und Kopfbewegungen einbeziehen. Hinsichtlich der Sprachverständlichkeit in akustisch schwierigen Situationen konnte mit diesen Materialien ein signifikanter Gewinn gegenüber rein auditiver Sprachpräsentation nachgewiesen werden. Bei bimodal (CI plus Hörgerät) versorgten CI-Nutzern war dieser Gewinn unabhängig davon, ob das Sprachsignal elektrisch oder akustisch übertragen wurde, so dass visuelle Merkmale zu beiden Übertragungsarten komplementäre Informationen lieferten. Bezüglich der kortikalen Reorganisation belegen die Ergebnisse der EEG-Untersuchungen eine zusätzliche Aktivierung im visuellen Kortex und eine verzögerte Aktivierung im auditiven Kortex für CI-Träger im Vergleich zu normalhörenden Versuchspersonen. Beim Vergleich des zeitlichen Verlaufs der kortikalen audiovisuellen Sprachverarbeitung zwischen CI-Patienten mit einem beidseitigen und solchen mit einem einseitigen Hörverlust konnte für die erstgenannte Gruppe ein stärkerer visueller Einfluss auf die auditive Sprachverarbeitung gezeigt werden, wobei gegenüber normalhörenden Probanden beide Gruppen eine zusätzliche Rekrutierung des visuellen Kortex und eine verbesserte Lippenlesefähigkeit aufwiesen. Im Rahmen der Prosodiewahrnehmung konnte festgestellt werden, dass CI-Nutzer besser als normalhörende Versuchspersonen in der Lage sind, visuelle Merkmale wie Augenbrauen- und Kopfbewegungen zu nutzen, um akzentuierte Wörter innerhalb eines Satzes zu identifizieren. Dies ließ sich im untersuchten Kollektiv jedoch nicht im Einzelfall mit einer Integration der beiden Modalitäten erklären. Vielmehr ergaben sich Subgruppen von CI-Nutzern, die vornehmlich entweder auditive oder visuelle Merkmale zur Identifikation der Satzakzente verwendeten. Zusammengefasst hat das Projekt signifikante weitergehende Erkenntnisse zur Verarbeitung audiovisueller Sprache bei CI-Patienten geliefert, die sich auf unterschiedliche Facetten der Sprachwahrnehmung beziehen. Aufgrund der im Projekt etablierten Stimuli und Methoden stellt das Projekt zudem ein wichtiges Fundament für zukünftige Studien zur multimodalen Sprachverarbeitung dar.
Projektbezogene Publikationen (Auswahl)
-
Differences in audiovisual speech processing in CI users with unilateral and bilateral hearing loss: an ERP study. International Congress of Cognitive Neuroscience (ICON), Juni 2020, Helsinki, Finnland
Layer N., Weglage A., Müller V., Meister H., Lang-Roth R., Walger M., Murray M.M. & Sandmann P.
-
Bimodal and audiovisual benefits of speech intelligibility in cochlear implant listeners with contralateral acoustic hearing. Conference: Conference on Implantable Auditory Prostheses (CIAP), Juli 2021, online
Ihly P., Meister H., Hollfelder D., Bruchhage K. & Jürgens T.
-
Electrophysiological correlates of audiovisual speech perception in CI patients. XXVII Symposium IERASG, Juni 2021, Köln, Deutschland
Layer N., Weglage A., Müller V., Walger M., Lang-Roth R., Meister H. & Sandmann P.
-
A method for examining audiovisual prosody perception based on a virtual human. Conference on Computational Audiology, 30.6.- 1.7. 2022
Abdellatif, K. H., Winter, I. S., Wächtler, M., Sandmann, P. & Meister, H.
-
A virtual reality-based method for examining audiovisual prosody perception.
Meister, H., Winter, I. S., Waechtler, M., Sandmann, P. & Abdellatif, K.
-
Electrophysiological differences and similarities in audiovisual speech processing in CI users with unilateral and bilateral hearing loss. Current Research in Neurobiology, 3, 100059.
Layer, Natalie; Weglage, Anna; Müller, Verena; Meister, Hartmut; Lang-Roth, Ruth; Walger, Martin; Murray, Micah M. & Sandmann, Pascale
-
The timecourse of multisensory speech processing in unilaterally stimulated cochlear implant users revealed by ERPs. NeuroImage: Clinical, 34, 102982.
Layer, Natalie; Weglage, Anna; Müller, Verena; Meister, Hartmut; Lang-Roth, Ruth; Walger, Martin; Murray, Micah M. & Sandmann, Pascale
-
Examination of audiovisual prosody in cochlear implant recipients. 184th meeting of the acoustical society of America, 8.-12. Mai 2023, Chicago, IL, USA
Meister H. et al.
