Dekodierung multimodaler Informationsintegration: Neuronale Dynamiken, Computermodelle und die Rolle des Schlafs

• Antragstellerin: Dr. Anika Theresa Löwe
• Fachliche Zuordnung: Kognitive und systemische Humanneurowissenschaften
• Förderung: Förderung seit 2026
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 572233802

Menschen verarbeiten kontinuierlich multisensorische Informationen, um in ihrer komplexen Umwelt zu agieren. Das wirft Fragen auf, wie verschiedene sensorische Modalitäten zu kohärenten, generalisierbaren Wissensstrukturen integriert werden. Während sich die bisherige Forschung auf die multisensorische Integration in der Wahrnehmung konzentriert hat, bleibt unklar, wie sich eine solche Integration bei abstrakten kognitiven Prozessen wie hierarchischem Kategorienlernen und Regelinferenz entfaltet. Dieses Projekt untersucht, wie multimodale sensorische Information in hierarchische Kategorien integriert wird und inwiefern Schlaf die Abstraktion von Regeln über Modalitäten hinweg unterstützen kann. Freiwillige werden an einer hierarchischen Kategorielernaufgabe teilnehmen, bei der naturalistische Videostimuli von alltäglichen Café-Szenen verwendet werden, die jeweils durch drei Merkmalsdimensionen definiert sind: auditiv (Musik), statisch visuell (Inneneinrichtung) und dynamisch visuell (Aktivität). Jede Dimension kann fünf Ausprägungen annehmen, die auf einer Werteskala von 1 bis 5 eingestuft sind. Teilnehmer sollen wiederholt die höher bewertete Café-Szene in einer Zwei-Alternativen-Forced-Choice-Aufgabe wählen, wobei sie Feedback zu ihren Entscheidungen bekommen. Der Lernprozess wird mit Hilfe eines Modells für Verstärkungslernen modelliert, was ermöglicht nachzuvollziehen, wie Teilnehmer die verschiedenen sensorischen Dimensionen gewichten und integrieren. Dieser rechnerische Ansatz kann zudem Gedächtnisstrategien, die auf Erinnerungen beruhen, von regelbasierter Merkmalsintegration trennen. Um die neuronalen Mechanismen der multimodalen Integration zu erfassen, wird funktionelles MRT Veränderungen in den neuronalen Aktivierungsmustern während des Kategorielernens erfassen, während diffusionsgewichtetes MRT die lernbedingte mikrostrukturelle Plastizität messen wird. Zudem wird im Rahmen des Projekts durch EEG-Aufzeichnungen über Nacht untersucht, wie der Schlaf die Inferenz von Regeln erleichtert. Die Rolle der aperiodischen EEG-Aktivität und oszillatorischer Marker wird in Bezug auf die Verhaltensleistung und die neuronalen Repräsentationen nach dem Schlaf untersucht. Durch die Erfassung der Entstehung multimodaler Kategorierepräsentationen während des Lernens und der Konsolidierung, charakterisiert das Projekt die neuronalen Prozesse und die rechnerischen Mechanismen, die der multimodalen Regelinferenz zugrunde liegen. Darüber hinaus wird getestet, ob Schlaf die Wissensrepräsentationen aktiv reorganisiert, um die Integration über sensorische Modalitäten hinweg zu verbessern. Die Ergebnisse des Projekts werden das Verständnis der Mechanismen, die adaptives Lernen und Entscheidungsfindung in natürlichen Umgebungen ermöglichen, verbessern und können als Grundlage für neuro-inspirierte KI Modelle menschlicher multimodaler Kognition dienen.

• DFG-Verfahren: Stelle