Neural dynamics of visual cognition
Kognitive, systemische und Verhaltensneurobiologie
Zusammenfassung der Projektergebnisse
In einem Wimpernschlag erkennen wir mühelos alltägliche Gegenstände wie die Buchstaben auf dieser Seite oder eine Kaffeetasse auf einem Tisch. Die scheinbare Leichtigkeit unserer visuellen Erkennungsfähigkeiten täuscht jedoch über ihre Komplexität hinweg: Wir identifizieren und klassifizieren Objekte korrekt unter Tausenden von Alternativen, und das innerhalb von wenigen hundert Millisekunden und trotz enormer Schwankungen des Netzhautbildes, die durch veränderte Sehbedingungen entstehen. Ziel dieses Projekts war es, die neuronale Dynamik zu erforschen, die die visuelle Objektwahrnehmung ermöglicht. Dazu verwendeten wir eine Kombination aus nicht-invasiver Bildgebung des menschlichen Gehirns, computergestützter Modellierung (tiefe neuronale Netze), Verhaltensbewertung und multivariaten Analysetechniken. Insbesondere wollten wir a) die komplexe räumlich-zeitliche Dynamik aufdecken, die die Objektwahrnehmung ermöglicht (Ziel 1), b) die Art und Weise, wie Informationen durch die zugrundeliegende neuronale Architektur in Feedforward- und Feedback-Richtung fließen (Ziel 2) darlegen, und c) wie feststellen, wie plastisch die zugrundeliegende Architektur ist (Ziel 3).Wir haben die folgenden Ergebnisse erhalten. In Bezug auf Ziel 1 haben wir a) die Algorithmen und das Darstellungsformat der visuellen neuronalen Verarbeitungskaskade aufgeklärt, indem wir eine räumlich-zeitliche Korrespondenz zwischen menschlicher visueller Hirnaktivität und künstlichen tiefen neuronalen Netzen demonstriert haben, b) die räumlich-zeitliche Dynamik für verschiedene Arten von visuellen Inhalten, Dimensionen und Formaten aufgedeckt, c) bestimmt, wie die Teilmenge der Aktivität, die geeignet ist, das Verhalten zu steuern, experimentell bestimmt werden kann, d) dargelegt, wie visuelle Regelmäßigkeiten die neuronale Architektur formen, e) die Analysemethoden geschärft, um relevante empirische Informationen für die Theorie verfügbar zu machen. In Bezug auf Ziel 2 haben wir herausgefunden, a) dass veridisches Sehen und Imaginieren gemeinsame neuronale Repräsentationen im Alpha-Frequenzband haben, b) dass Aufgabenziele Objektverarbeitung spät modifizieren, indem sie selektiv aufgabenrelevante Objektmerkmale verstärken, jedoch mit begrenztem Einfluss auf Objektrepräsentationen per se, c) dass Feed-Forward- und Feedback- Informationsfluss-bezogene Aktivität durch schnelle serielle visuelle Präsentation dissoziiert werden kann, d) und dass Alpha-Frequenz-Feedback kohärentes natürliches Sehen orchestriert. Zur Erreichung von Ziel 3 haben wir die räumlich-zeitliche Dynamik der Transformation von sensorischer zu perzeptiver Braille-Buchstabenwahrnehmung bei Blinden aufgedeckt und die verhaltensmäßige Freigabe der beteiligten Repräsentationen ermittelt. Zusammengenommen tragen unsere Ergebnisse dazu bei, zu verstehen, wie die komplexe raum-zeitliche neuronale Dynamik im visuellen Gehirn unsere Wahrnehmung der Welt und unsere Interaktion mit ihr auf sinnvolle Weise ermöglicht.
Projektbezogene Publikationen (Auswahl)
-
Comparison of deep neural networks to spatio-temporal cortical dynamics of human visual object recognition reveals hierarchical correspondence. Scientific Reports, 6(1).
Cichy, Radoslaw Martin; Khosla, Aditya; Pantazis, Dimitrios; Torralba, Antonio & Oliva, Aude
-
Similarity-Based Fusion of MEG and fMRI Reveals Spatio-Temporal Dynamics in Human Cortex During Visual Object Recognition. Cerebral Cortex, 26(8), 3563-3579.
Cichy, Radoslaw Martin; Pantazis, Dimitrios & Oliva, Aude
-
Dynamics of scene representations in the human brain revealed by magnetoencephalography and deep neural networks. NeuroImage, 153, 346-358.
Martin, Cichy Radoslaw; Khosla, Aditya; Pantazis, Dimitrios & Oliva, Aude
-
Multivariate pattern analysis of MEG and EEG: A comparison of representational structure in time and space. NeuroImage, 158, 441-454.
Cichy, Radoslaw Martin & Pantazis, Dimitrios
-
Resolving the neural dynamics of visual and auditory scene processing in the human brain: a methodological approach. Philosophical Transactions of the Royal Society B: Biological Sciences, 372(1714), 20160108.
Cichy, Radoslaw Martin & Teng, Santani
-
Decoding the orientation of contrast edges from MEG evoked and induced responses. NeuroImage, 180, 267-279.
Pantazis, Dimitrios; Fang, Mingtong; Qin, Sheng; Mohsenzadeh, Yalda; Li, Quanzheng & Cichy, Radoslaw Martin
-
Finding decodable information that can be read out in behaviour. NeuroImage, 179, 252-262.
Grootswagers, Tijl; Cichy, Radoslaw M. & Carlson, Thomas A.
-
Multivariate pattern analysis for MEG: A comparison of dissimilarity measures. NeuroImage, 173, 434-447.
Guggenmos, Matthias; Sterzer, Philipp & Cichy, Radoslaw Martin
-
Scale-specific analysis of fMRI data on the irregular cortical surface. NeuroImage, 181, 370-381.
Chen, Yi; Cichy, Radoslaw Martin; Stannat, Wilhelm & Haynes, John-Dylan
-
The representational dynamics of task and object processing in humans. eLife, 7.
Hebart, Martin N.; Bankson, Brett B.; Harel, Assaf; Baker, Chris I. & Cichy, Radoslaw M.
-
Tracking the Spatiotemporal Neural Dynamics of Real-world Object Size and Animacy in the Human Brain. Journal of Cognitive Neuroscience, 30(11), 1559-1576.
Khaligh-Razavi, Seyed-Mahdi; Cichy, Radoslaw Martin; Pantazis, Dimitrios & Oliva, Aude
-
Typical retinotopic locations impact the time course of object coding. NeuroImage, 176, 372-379.
Kaiser, Daniel; Moeskops, Merle M. & Cichy, Radoslaw M.
-
Typical visual-field locations enhance processing in object-selective channels of human occipital cortex. Journal of Neurophysiology, 120(2), 848-853.
Kaiser, Daniel & Cichy, Radoslaw M.
-
Typical visual-field locations facilitate access to awareness for everyday objects. Cognition, 180, 118-122.
Kaiser, Daniel & Cichy, Radoslaw M.
-
Ultra-Rapid serial visual presentation reveals dynamics of feedforward and feedback processes in the ventral visual pathway. eLife, 7.
Mohsenzadeh, Yalda; Qin, Sheng; Cichy, Radoslaw M & Pantazis, Dimitrios
-
A neural mechanism for contextualizing fragmented inputs during naturalistic vision. eLife, 8.
Kaiser, Daniel; Turini, Jacopo & Cichy, Radoslaw M.
-
Cortical sensitivity to natural scene structure. Human Brain Mapping, 41(5), 1286-1295.
Kaiser, Daniel; Häberle, Greta & Cichy, Radoslaw M.
-
Deep Neural Networks as Scientific Models. Trends in Cognitive Sciences, 23(4), 305-317.
Cichy, Radoslaw M. & Kaiser, Daniel
-
Object Vision in a Structured World. Trends in Cognitive Sciences, 23(8), 672-685.
Kaiser, Daniel; Quek, Genevieve L.; Cichy, Radoslaw M. & Peelen, Marius V.
-
Reliability and Generalizability of Similarity-Based Fusion of MEG and fMRI Data in Human Ventral and Dorsal Visual Streams. Vision, 3(1), 8.
Mohsenzadeh, Yalda; Mullin, Caitlin; Lahner, Benjamin; Cichy, Radoslaw Martin & Oliva, Aude
-
The Algonauts Project. Nature Machine Intelligence, 1(12), 613-613.
Cichy, Radoslaw Martin; Roig, Gemma & Oliva, Aude
-
The Neural Dynamics of Familiar Face Recognition. Cerebral Cortex.
Ambrus, Géza Gergely; Kaiser, Daniel; Cichy, Radoslaw Martin & Kovács, Gyula
-
The spatiotemporal neural dynamics underlying perceived similarity for real-world objects. NeuroImage, 194, 12-24.
Cichy, Radoslaw M.; Kriegeskorte, Nikolaus; Jozwik, Kamila M.; van den Bosch, Jasper J.F. & Charest, Ian
-
A M/EEG-fMRI Fusion Primer: Resolving Human Brain Responses in Space and Time. Neuron, 107(5), 772-781.
Cichy, Radoslaw M. & Oliva, Aude
-
Duality Diagram Similarity: A Generic Framework for Initialization Selection in Task Transfer Learning. Lecture Notes in Computer Science, 497-513.
Dwivedi, Kshitij; Huang, Jiahui; Cichy, Radoslaw Martin & Roig, Gemma
-
Rapid contextualization of fragmented scene information in the human visual system. NeuroImage, 219, 117045.
Kaiser, Daniel; Inciuraite, Gabriele & Cichy, Radoslaw M.
-
Real-world structure facilitates the rapid emergence of scene category information in visual brain signals. Journal of Neurophysiology, 124(1), 145-151.
Kaiser, Daniel; Häberle, Greta & Cichy, Radoslaw M.
-
Temporal dynamics of visual representations in the infant brain. Developmental Cognitive Neuroscience, 45, 100860.
Bayet, Laurie; Zinszer, Benjamin D.; Reilly, Emily; Cataldo, Julia K.; Pruitt, Zoe; Cichy, Radoslaw M.; Nelson, Charles A. & Aslin, Richard N.
-
Unravelling Representations in Scene-selective Brain Regions Using Scene Parsing Deep Neural Networks.
Dwivedi, Kshitij; Martin, Cichy Radoslaw & Roig, Gemma
-
Visual Imagery and Perception Share Neural Representations in the Alpha Frequency Band. Current Biology, 30(13), 2621-2627.e5.
Xie, Siying; Kaiser, Daniel & Cichy, Radoslaw M.
-
Benchmarking GE-BOLD, SE-BOLD, and SS-SI-VASO sequences for depth-dependent separation of feedforward and feedback signals in high-field MRI.
Iamshchinina, Polina; Haenelt, Daniel; Trampel, Robert; Weiskopf, Nikolaus; Kaiser, Daniel & Cichy, Radoslaw M.
-
Coherent natural scene structure facilitates the extraction of task-relevant object information in visual cortex. NeuroImage, 240, 118365.
Kaiser, Daniel; Häberle, Greta & Cichy, Radoslaw M.
-
Dissociable Components of Information Encoding in Human Perception. Cerebral Cortex, 31(12), 5664-5675.
Vidaurre, Diego; Cichy, Radoslaw M & Woolrich, Mark W.
-
Parts and Wholes in Scene Processing. Journal of Cognitive Neuroscience, 34(1), 4-15.
Kaiser, Daniel & Cichy, Radoslaw M.
-
Perceived and mentally rotated contents are differentially represented in cortical depth of V1. Communications Biology, 4(1).
Iamshchinina, Polina; Kaiser, Daniel; Yakupov, Renat; Haenelt, Daniel; Sciarra, Alessandro; Mattern, Hendrik; Luesebrink, Falk; Duezel, Emrah; Speck, Oliver; Weiskopf, Nikolaus & Cichy, Radoslaw Martin
-
Representational Content of Oscillatory Brain Activity during Object Recognition: Contrasting Cortical and Deep Neural Network Hierarchies. eneuro, 8(3), ENEURO.0362-20.2021.
Reddy, Leila; Cichy, Radoslaw Martin & VanRullen, Rufin
-
Semantic scene-object consistency modulates N300/400 EEG components, but does not automatically facilitate object representations. Cerebral Cortex, 32(16), 3553-3567.
Chen, Lixiang; Cichy, Radoslaw Martin & Kaiser, Daniel
-
Temporal uncertainty enhances suppression of neural responses to predictable visual stimuli. NeuroImage, 239, 118314.
Nara, Sanjeev; Lizarazu, Mikel; Richter, Craig G.; Dima, Diana C.; Cichy, Radoslaw M.; Bourguignon, Mathieu & Molinaro, Nicola
-
The Algonauts Project 2021 Challenge: How the Human Brain Makes Sense of a World in Motion
Cichy R. M.; Dwivedi K.; Lahner B.; Lascelles A.; Iamshchinina P.; Graumann M.; Andonian A.; Murty N. A. R.; Kay K.; Roig G. & Oliva A.
-
Unveiling functions of the visual cortex using task-specific deep neural networks. PLOS Computational Biology, 17(8), e1009267.
Dwivedi, Kshitij; Bonner, Michael F.; Cichy, Radoslaw Martin & Roig, Gemma
-
A large and rich EEG dataset for modeling human visual object recognition. NeuroImage, 264, 119754.
Gifford, Alessandro T.; Dwivedi, Kshitij; Roig, Gemma & Cichy, Radoslaw M.
-
A multivariate comparison of electroencephalogram and functional magnetic resonance imaging to electrocorticogram using visual object representations in humans. Frontiers in Neuroscience, 16.
Ebrahiminia, Fatemeh; Cichy, Radoslaw Martin & Khaligh-Razavi, Seyed-Mahdi
-
Disentangling five dimensions of animacy in human brain and behaviour. Communications Biology, 5(1).
Jozwik, Kamila M.; Najarro, Elias; van den Bosch, Jasper J. F.; Charest, Ian; Cichy, Radoslaw M. & Kriegeskorte, Nikolaus
-
Modelling brain representations of abstract concepts. PLOS Computational Biology, 18(2), e1009837.
Kaiser, Daniel; Jacobs, Arthur M. & Cichy, Radoslaw M.
-
Resolving the time course of visual and auditory object categorization. Journal of Neurophysiology, 127(6), 1622-1628.
Iamshchinina, Polina; Karapetian, Agnessa; Kaiser, Daniel & Cichy, Radoslaw M.
-
The spatiotemporal neural dynamics of object location representations in the human brain. Nature Human Behaviour, 6(6), 796-811.
Graumann, Monika; Ciuffi, Caterina; Dwivedi, Kshitij; Roig, Gemma & Cichy, Radoslaw M.
-
The Spatiotemporal Neural Dynamics of Object Recognition for Natural Images and Line Drawings. The Journal of Neuroscience, 43(3), 484-500.
Singer, Johannes J.D.; Cichy, Radoslaw M. & Hebart, Martin N.
-
Time-resolved multivariate pattern analysis of infant EEG data: A practical tutorial. Developmental Cognitive Neuroscience, 54, 101094.
Ashton, Kira; Zinszer, Benjamin D.; Cichy, Radoslaw M.; Nelson, Charles A.; Aslin, Richard N. & Bayet, Laurie
-
Visual category representations in the infant brain. Current Biology, 32(24), 5422-5432.e6.
Xie, Siying; Hoehl, Stefanie; Moeskops, Merle; Kayhan, Ezgi; Kliesch, Christian; Turtleton, Bert; Köster, Moritz & Cichy, Radoslaw M.
-
Alpha-frequency feedback to early visual cortex orchestrates coherent naturalistic vision. Science Advances, 9(45).
Chen, Lixiang; Cichy, Radoslaw M. & Kaiser, Daniel
-
BOLD Moments: modeling short visual events through a video fMRI dataset and metadata.
Lahner, Benjamin; Dwivedi, Kshitij; Iamshchinina, Polina; Graumann, Monika; Lascelles, Alex; Roig, Gemma; Gifford, Alessandro Thomas; Pan, Bowen; Jin, SouYoung; Ratan, Murty N. Apurva; Kay, Kendrick; Oliva, Aude & Cichy, Radoslaw
-
Deep Neural Networks and Visuo-Semantic Models Explain Complementary Components of Human Ventral-Stream Representational Dynamics. The Journal of Neuroscience, 43(10), 1731-1741.
Jozwik, Kamila M.; Kietzmann, Tim C.; Cichy, Radoslaw M.; Kriegeskorte, Nikolaus & Mur, Marieke
-
Empirically identifying and computationally modelling the brain-behaviour relationship for human scene categorization.
Karapetian, Agnessa; Boyanova, Antoniya; Pandaram, Muthukumar; Obermayer, Klaus; Kietzmann, Tim C. & Cichy, Radoslaw M.
-
Independent spatiotemporal effects of spatial attention and background clutter on human object location representations. NeuroImage, 272, 120053.
Graumann, Monika; Wallenwein, Lara A. & Cichy, Radoslaw M.
-
Laminar dissociation of feedforward and feedback signals in high-level ventral visual cortex during imagery and perception.
Carricarte, Tony; Iamshchinina, Polina; Trampel, Robert; Chaimow, Denis; Weiskopf, Nikolaus & Cichy, Radoslaw M.
-
Net2Brain: A Toolbox to compare artificial vision models with human brain responses. Journal of Vision, 23(9), 4935.
Bersch, Domenic; Dwivedi, Kshitij; Vilas, Martina; Cichy, Radoslaw Martin & Roig, Gemma
-
The Algonauts Project 2023 Challenge: How the Human Brain Makes Sense of Natural Scenes
Gifford, A. T.; Labner, B.; Saba-Sadiqa, S.; Vilas, M. G.; Lascelles, A.; Oliva, A.; Kay, K.; Roig, G. & Cichy, R. M.
-
WITHDRAWN: The influence of the bullseye versus standard fixation cross on eye movements and classifying natural images from EEG.
Häberle, Greta; Çelikkol, Aynur Pelin & Cichy, Radoslaw M.
-
Communicative signals during joint attention promote neural processes of infants and caregivers. Developmental Cognitive Neuroscience, 65, 101321.
Bánki, Anna; Köster, Moritz; Cichy, Radoslaw Martin & Hoehl, Stefanie
-
Individual differences in internal models explain idiosyncrasies in scene perception. Cognition, 245, 105723.
Wang, Gongting; Foxwell, Matthew J.; Cichy, Radoslaw M.; Pitcher, David & Kaiser, Daniel
-
The transformation of sensory to perceptual braille letter representations in the visually deprived brain.
Haupt, Marleen; Graumann, Monika; Teng, Santani; Kaltenbach, Carina & Cichy, Radoslaw M.
