Microsaccades as an objective index to visual orienting and selection
Human Cognitive and Systems Neuroscience
Final Report Abstract
Obwohl die Grundidee des Projekts nach wie vor überzeugt, muss die Durchführung als gescheitert gelten. Um alle wissenschaftlichen Fragestellungen sowohl experimentell als auch im Modell bearbeiten zu können, mussten die Displays vereinheitlicht und vereinfacht werden. Moving Object Tracking (MOT) bot sich aufgrund seiner einfachen Reizstruktur und gleichzeitig komplexen Wahrnehmung an (Beispiel). Visuelle Reizung lässt sich, in Anlehnung an bestehende Salienzkartenmodelle, vergleichsweise einfach simulieren. Gleichzeitig können Salienz (durch Merkmalskontraste) und Aufmerksamkeit (durch Mitverfolgungsaufgaben) unabhängig voneinander manipuliert werden. Erfahrung mit solchen Displays war vorhanden. Die Entwicklung der dynamischen MOT-Sequenzen sowie ihre Charakterisierung durch informationstheoretische Maße für lokaler Ähnlichkeit und globaler Auffälligkeit (=Salienz) war erfolgreich und vielversprechend. Sequenzen konnten in großer Zahl generiert und Sequenzen mit interessanten Konfigurationen ausgewählt werden. Wir halten diese Displays weiterhin für hervorragend geeignet für die Untersuchung der Wechselwirkung von Aufmerksamkeit und Salienz. Die Auswertung von Mikrosakkaden während der Durchführung von MOT Aufgaben bestätigte eine reproduzierbare Modulation von MS durch den Display. Insbesondere erzeugte jede MOT Sequenz eine reproduzierbare zeitliche Modulation der durchschnittlichen MS Richtung (relativ zum Ziel). Bei Versuchen mit mehreren Zielen war allerdings kein Zusammenhang mehr ersichtlich. Ein dynamisches Modell der Erzeugung von Augenbewegungen (Drift & Sakkaden) wurde in Zusammenarbeit mit Prof. Hafed, Tübingen, erstellt. Das Modell verbindet kontinuierlich stochastische Fluktuationen mit diskret stochastischen Omnipause/Burst Ereignissen, welche Sakkaden auslösen, und erscheint nach wie vor aktuell. Bedauerlicherweise reichten unsere personellen und zeitlichen Ressourcen nicht aus um die Parameter des Modells durch Abgleich mit Verhaltens- und Aktivitätsmessungen zu bestimmen. Die im Rahmen des Projekts erarbeitete Expertise führte zu einer verbesserten Schätzung der Richtung von Folgebewegungen. Dieser neue Methode (cumulative smooth pursuit, CSP) wurde im Rahmen eines Parallelprojekts angewandt und publiziert). Die Methode ist öffentlich verfügbar (Github) und wird bereits von mehreren Arbeitsgruppen eingesetzt. In der Zukunft dürfte sie in vielen Bereichen der visuellen Wahrnehmungsforschung oder der Entwicklung von Mensch-Maschine-Schnittstellen Anwendungen finden. In der Rückschau war das Ziel einer nahtlosen Verbindung von Aufmerksamkeit, Salienz, und Aktivität in Colliculus Superior wohl zu ambitioniert, bzw. hatten wir die für eine erfolgreiche Durchführung notwendigen Ressourcen erheblich unterschätzt. Schon allein die Verknüpfung des Modells mit neurophysiologischen Beobachtungen hätten ohne weiteres die gesamten personellen Ressourcen des Projekts beanspruchen können.
Publications
- (2016) Under what conditions is optokinetic nystagmus a reliable measure of perceptual dominance in binocular rivalry? 39th European Conference on Visual Perception, Barcelona
Soltesz, P., Pastukhov, A., Braun, J., Kovacs, I.
- (2017) A novel way to quantify non-stationary aspects of multi-stable perception. Stepan Aleshin & Jochen Braun 40th European Conference on Visual Perception, Barcelona
Aleshin, A., Braun, J.
- (2018) Automated analysis of BR-OKN facilitates large cohort studies. 41th European Conference on Visual Perception, Trieste
Aleshin, S., Ziman, G., Kovacs, I., Braun, J.
(See online at https://doi.org/10.13140/RG.2.2.30856.88323) - (2018) BR-OKN responses reveal fine-tuning of the developing visual system during adolescence 41th European Conference on Visual Perception, Trieste
Ziman, G., Aleshin, S., Soltesz, P., Braun, J., Kovacs, I.
- (2019) Perceptual reversals in binocular rivalry: improved detection from OKN. Journal of Vision, 19(3): 5, 1-18
Aleshin, S., Ziman, G., Kovacs, J., Braun, J.
(See online at https://doi.org/10.1167/19.3.5)
