Mehrstufige Integrationsprozesse während der Verarbeitung von sprachbegleitender Gestik: eine systematische Untersuchung mit EEG und fMRT

• Antragsteller: Dr. Yifei He
• Fachliche Zuordnung: Allgemeine, Kognitive und Mathematische Psychologie ; Kognitive und systemische Humanneurowissenschaften
• Förderung: Förderung von 2019 bis 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 430897432

Gestik ist ein wichtiger Bestandteil der zwischenmenschlichen Kommunikation. Die Verarbeitung von sprachbezogenen Gesten erfordert die Integration verschiedener sensorischer Modalitäten, im Sinne der sinnvollen Kombination von auditiven und visuellen Informationen. Dabei ist die Gestik-Sprach-Integration (GSI) nicht nur multisensorisch, sondern findet auf einer höheren semantischen Ebene statt. Diese einzigartige Eigenschaft hat die GSI zu einem wichtigen Thema in der kognitiven Neurowissenschaft gemacht.Basierend auf früheren fMRT-, EEG- und simultanen EEG-fMRI-Studien zur GSI haben wir ein mehrstufiges Modell der Gesten-Sprach-Integration (MS-GSI) aufgestellt, mit der Hypothese, dass die GSI auf Kaskaden von Unterstufen basiert. Diese umfassen audiovisuelle Wahrnehmungs- und Integrationsprozesse niedrigerer Ordnung sowie semantische Vergleichs- und Revisionsprozesse höherer Ordnung, und werden durch unterschiedliche neurale EEG und fMRI Marker charakterisiert. Das Modell bildet eine theoretische Grundlage für die weitere Konsolidierung und empirische Prüfung der GSI. Es gibt jedoch noch einige offene Punkte: Erstens ist noch unklar, wie die neuralen Marker von EEG und fMRI direkt mit den Teilstufen der GSI vereinigt werden können. Zweitens erfordern die Forschungsparadigmen zur Erforschung der multisensorischen Integration, weitere Verfeinerungen für die Untersuchung der GSI auf semantischer Ebene. Drittens, wird die semantische Komplexität der Geste in der vorhandenen Literatur weitgehend ignoriert, obwohl sie eine zentrale Rolle während der GSI spielt. Darüber hinaus ist die Rolle von Aufmerksamkeits- und Vorhersagemechanismen, die die Wahrnehmung und das Sprachverständnis beeinflussen können, für GSI-Prozesse noch nicht geklärt.Diese offenen Punkte sollen durch den vorliegenden Antrag beantwortet werden. In drei Arbeitspaketen wird EEG und kombinierte EEG-fMRT eingesetzt, um folgende essenziellen Aspekte zu untersuchen: 1) die Wechselwirkung zwischen semantischer Kongruenz und semantischer Komplexität während der GSI, 2) die neuronalen Grundlagen der gestischen Metaphorizität mit einem neuen Paradigma, welches gezielt die semantische Komplexität, die ausschließlich auf Gesten beruht, manipuliert und 3) den Top-Down-Einfluss der semantischen Vorhersage auf untergeordnete GSI-Prozesse. Jedes Arbeitspaket zielt auf spezifische Teilstadien der GSI ab und wird bahnbrechende neue Einblicke in das Zusammenspiel von Wahrnehmung und semantischen und konstruktiven Gehirnprozessen geben, die für sozial kommunikatives Funktionieren relevant sind.Das aktuelle Forschungsprojekt wird dazu beitragen, die neurobiologischen Grundlagen der verschiedenen Verarbeitungsebenen im MS-GSI-Modell besser zu verstehen. Ein solches Verständnis wird nicht nur die GSI-Modelle optimieren, sondern bildet auch eine solide Basis für translationale Forschung, z.B. bei der Untersuchung von Patienten, bei denen sozial-kommunikativen Prozesse wie die GSI, beeinträchtigt sind.

• DFG-Verfahren: Sachbeihilfen
• Mitverantwortlich: Professor Dr. Benjamin Straube, Ph.D.