Auditory scene analysis and attentional focusing in speech perception under complex dynamic listening conditions in younger and older adults
Final Report Abstract
Erfolgreiches Sprachverstehen in dynamischen Cocktailparty-Situationen basiert vornehmlich auf der auditiven Szenenanalyse sowie der Wahrnehmung und Verknüpfung auditiver und visueller Sprachinformation. Entsprechend einem von Keil & Senkowski (2018) vorgeschlagenen Konzept umfasst diese mehrere Schritte, bestehend aus der Ableitung von Vorhersagen aus der visuellen Sprache, der Verarbeitung der auditiven Sprache sowie der Integration beider Anteile. Daneben spielen – ganz in Übereinstimmung mit „predictive coding“ Ansätzen – auch a-priori Erwartungen und Wissen zum Zusammenhang beider Anteile eine Rolle. Dementsprechend konnten in dem Projekt die Bedeutung der Vorbereitung auf die nachfolgende auditive Information (indiziert durch Modulationen der CNV) belegt werden. Audio-visuelle Erleichterung selbst hängt von dem Informationsgehalt visueller Sprache ab und ist maximal bei audio-visuell kongruenter Sprache. Audio-visuelle Sprachintegration umfasst früher Prozesse der Bahnung und visuellen Antizipation (P1-N1) sowie top-down gesteuerte Vergleichs von visuellen Vorhersagen und auditiver Sprache (P2-N2). Letztere umfassen kognitive Verknüpfungsprozesse (indiziert durch eine Modulation der Beta-Aktivität bei kongruenten Reizen) und Kontrollprozesse (indiziert durch erhöhte Theta-Aktivität bei Detektion eines Mismatches beider Modalitäten. Das Zusammenspiel dieser Prozesse wird besonders deutlich, wenn es zu einem unerwarteten Sprecherwechsel kommt und ein temporärer Mismatch zwischen visueller und auditiver Sprache auftritt. Dies zeigt einerseits frühzeitig die Notwendigkeit einer Aufmerksamkeitsverschiebung auf das neue Ziel an, führt andererseits aber auch zu einer Unterbrechung der audio-visuellen Integration der Sprache, was mit Wechselkosten verbunden ist (indiziert durch erhöhte Amplituden der P1-N1 und P2-N2 sowie Leistungseinbrüchen). Altersunterschiede treten auf verschiedenen Ebenen auf, so bei der Ausbildung von Erwartungen, der Aufmerksamkeitsausrichtung sowie der Integration audio-visueller Sprache. Leistungsunterschiede zwischen jungen und älteren Proband:innen traten auf, waren jedoch insgesamt recht gering. Ein Grund dafür könnte in den verwendeten Versuchsparadigmen liegen, mit denen ein dynamisches, audio-visuelles Cocktailparty-Szenario simuliert und spezifische kognitive Prozesse differenziert abgeleitet werden konnten, die jedoch – verglichen mit alltäglichen Kommunikationssituationen – dennoch artifiziell waren. Aufbauend auf die hier gewonnenen Erkenntnisse zu den Teilprozessen könnte daher in zukünftigen Studien das Konzept des „listening effort“ einbezogen werden und damit die Frage, wie aufwändig das Verstehen audio-visueller Sprache vom Empfänger eingeschätzt wird. In diesem Zusammenhang erscheinen auch ökologisch validere Szenarien wichtig, in denen komplexere Stimuli (z.B. bedeutungsvolle Sätze) und Aufgaben (z.B. zum Erinnern von Sprachinhalten) verwendet werden. Dabei könnten Altersunterschiede zutage treten, etwa wenn die Grenzen kompensatorischer Strategien erreicht werden. Sinnvoll erscheinen daher zukünftige Studien, die neurophysiologische Maße zur Abbildung spezifischer kognitiver Prozesse der Verarbeitung audio-visueller Sprache mit alltagsnahen Paradigmen verknüpfen, die eine volitionale Aufmerksamkeitsfokussierung auf unterschiedliche Gesprächspartner sowie motivationale und soziale Aspekte einer Kommunikation einbeziehen.
Publications
-
EEG correlates of spatial shifts of attention in a dynamic multi-talker speech perception scenario in younger and older adults. Hearing Research, 398, 108077.
Getzmann, Stephan; Klatt, Laura-Isabelle; Schneider, Daniel; Begau, Alexandra & Wascher, Edmund
-
Do congruent lip movements facilitate speech processing in a dynamic audiovisual multi-talker scenario? An ERP study with older and younger adults. Behavioural Brain Research, 412, 113436.
Begau, Alexandra; Klatt, Laura-Isabelle; Wascher, Edmund; Schneider, Daniel & Getzmann, Stephan
-
The role of informational content of visual speech in an audiovisual cocktail party: Evidence from cortical oscillations in young and old participants. European Journal of Neuroscience, 56(8), 5215-5234.
Begau, Alexandra; Klatt, Laura‐Isabelle; Schneider, Daniel; Wascher, Edmund & Getzmann, Stephan
-
Using visual speech at the cocktail-party: CNV evidence for early speech extraction in younger and older adults. Hearing Research, 426, 108636.
Begau, Alexandra; Arnau, Stefan; Klatt, Laura-Isabelle; Wascher, Edmund & Getzmann, Stephan
-
Cross-modal interactions at the audiovisual cocktail-party revealed by behavior, ERPs, and neural oscillations. NeuroImage, 271, 120022.
Klatt, Laura-Isabelle; Begau, Alexandra; Schneider, Daniel; Wascher, Edmund & Getzmann, Stephan
