The influence of local cortical oscillations and distributed connectivity networks on multisensory perception

• Applicant: Professor Dr. Julian Maximilian Felix Keil
• Subject Area: General, Cognitive and Mathematical Psychology ; Human Cognitive and Systems Neuroscience
• Term: from 2016 to 2021
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 322153109

• Final Report Year: 2022

Final Report Abstract

Informationen aus unserer Umwelt, die wir über unser sensorisches System empfangen, werden von uns fortlaufend überwacht und zu einer subjektiv kohärenten Wahrnehmung integriert. Eine Reihe von empirischen Befunden der letzten Jahre hat Hinweise darauf geliefert, dass der aktuelle funktionelle Zustand des Gehirns die Reizverarbeitung, und damit die Wahrnehmung beeinflusst. So lieferten elektrophysiologische Studien Hinweise darauf, dass fortlaufende Oszillationen eine wichtige Rolle für die Integration und bewusste Wahrnehmung von multisensorischen Reizen spielen. Die Ausgangsfrage des vorliegenden Antrags war es, wie sich fortlaufende Oszillationen auf die Integration und Wahrnehmung bevorstehender multisensorische Reize auswirken, und wie Aufmerksamkeit und Erwartungen fortlaufenden Oszillationen, und damit die bewusste Wahrnehmung, beeinflussen. Um diese Frage zu beantworten, wurden insgesamt sechs Experimente geplant, von denen sich drei mit der Sound-Induced-Flash Illusion (SIFI), und drei mit der Ventriloquist Illusion (VI) beschäftigen sollten. Das erste Paradigma zeigt dabei einen Einfluss auditorischer Information auf visuelle Wahrnehmung, das zweite Paradigma den umgekehrten Einfluss visueller Information auf auditorische Wahrnehmung, in beiden Fällen anhand kurzer Töne und Punkte. Zusätzlich sollten in den Experimenten zeitliche Erwartungen durch visuelle Hinweisreize oder Veränderungen der Aufmerksamkeit durch ablenkende Aufgaben manipuliert werden. In allen Experimenten sollte die Aktivität des Gehirns vor und während der Reizverarbeitung mittels elektrophysiologischer Messungen von der Kopfoberfläche (Experimente 1-4), oder direkt von der Oberfläche des Gehirns (Experimente 5 & 6) erhoben werden. Das zentrale Ergebnis des Projektes ist, dass multisensorische Wahrnehmung ein dynamischer Prozess ist, der sich entsprechend des experimentellen Kontextes und in Abhängigkeit der vorhandenen kognitiven Ressourcen verändert. Während die lokale Erregbarkeit der sensorischen Verarbeitungsgebiete des Gehirns vor allem eine Rolle für die frühe Reizverarbeitung spielt, hängt die Integration komplexer Informationen von kognitiven Prozessen ab. So verändert sich der Einfluss der visuellen Information auf die auditorische Wahrnehmung in der VI in Abhängigkeit von Top-Down Kontrollmechanismen. Auch in der SIFI wird der Einfluss auditorischer Information auf visuelle Wahrnehmung größer, wenn die kognitiven Ressourcen stark beansprucht werden, was sich in einer zusätzlichen Aktivierung von Top-Down Kontrollmechanismen widerspiegelt. Entgegen den Vorhersagen ließen sich Befunde zu den neuronalen Mechanismen der Ventriloquist Illusion nicht replizieren. Dies führte dazu, dass nicht alle Experimente zu diesem Paradigma durchführt werden konnten, und dies sollte in zukünftigen Studien weiter untersucht werden.

Publications

• (2017). Individual alpha frequency relates to the sound-induced flash illusion. Multisensory Research, 30(6), 565–578
  Keil, J., & Senkowski, D.
  
• (2018). High cognitive load enhances the susceptibility to non-speech audiovisual illusions. Scientific Reports, 8(1), 11530
  Michail, G., & Keil, J.
  
• (2018). Neural Oscillations Orchestrate Multisensory Processing. The Neuroscientist, 24(6), 609–626
  Keil, J., & Senkowski, D.
  
• (2019). Single trial prestimulus oscillations predict perception of the sound-induced flash illusion. Scientific Reports, 9(1), 5983
  Kaiser, M., Senkowski, D., Busch, N. A., Balz, J., & Keil, J.
  
• (2020). Double Flash Illusions: Current Findings and Future Directions. Frontiers in Neuroscience, 14, 298
  Keil, J.
  
• (2020). Mediofrontal theta-band oscillations reflect top-down influence in the ventriloquist illusion. Human Brain Mapping, 31(1), 1–15
  Kaiser, M., Senkowski, D., & Keil, J.
  
• (2021). Memory Load Alters Perception-Related Neural Oscillations during Multisensory Integration. The Journal of Neuroscience, 41(7), 1505– 1515
  Michail, G., Senkowski, D., Niedeggen, M., & Keil, J.
  
• (2021). Prestimulus alpha power but not phase influences visual discrimination of long-duration visual stimuli. The European Journal of Neuroscience
  Michail, G., Toran Jenner, L., & Keil, J.