The integration of early vision, saliency models, and eye-movement control: Experiments, modeling, and spatial statistics

• Applicants: Professor Dr. Ralf Engbert; Professor Dr. Felix A. Wichmann
• Subject Area: General, Cognitive and Mathematical Psychology
• Term: from 2014 to 2021
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 247862554

• Final Report Year: 2021

Final Report Abstract

Das übergeordnete Thema dieses Projektes war die Zusammenführung zweier bisher weitgehend getrennter Forschungsgebiete, der frühen visuellen Verarbeitung von Mustern und Strukturen (early spatial vision) und der dynamischen Blicksteuerung – mit dem Ziel der Entwicklung eines integrierten mathematischen (computer-implementierten) Modells. Als Ausgangspunkt für die Verarbeitung von Mustern und Strukturen wurde ein Populationsmodell der frühen visuellen Verarbeitung der AG Wichmann in Tübingen verwendet. Für die Blicksteuerung diente ein dynamischer Modellierungsansatz für die Blick- und Aufmerksamkeitssteuerung der AG Engbert in Potsdam als Ausgangspunkt. Die Zusammenführung der beiden Modellierungsansätze war erfolgreich: Das aus unserer Forschung resultierende Bottom-up Modell kann Fixationen beim Betrachten von natürlichen Bildern besser voraussagen als state-of-the-art Bottom-up Low-Level Salienz-Modelle der Literatur. Auch wenn wir, wie oben besprochen, zeigen konnten, dass Modelle, die (auch) über High-Level Information verfügen, Fixationen nochmals besser voraussagen können – diese auf tiefen neuronalen Netzwerken basierenden Modelle sind aber auch deutlich komplexer und haben eine mehrere tausendmal (!) größere Anzahl freier Parameter und sind auf mindestens einer Million Bilder trainiert – im Vergleich dazu ist unser dynamisches Modell sehr überschau- und verstehbar, und alle Komponenten sind psychologisch oder neurophysiologisch motiviert und nachvollziehbar. In den beiden Förderungsphasen des Projektes wurden 1. umfangreiche Experimente zur Blick- und Aufmerksamkeitssteuerung beim Betrachen von Szenen umgesetzt, 2. für das Gebiet neuartige Analysen zu räumlichen Korrelationsfunktionen erarbeitet, 3. ein dynamisches Modell der Generierung von Blickpfaden bei der Szenenbetrachtung vorgeschlagen und über mehrere Versionen weiterentwickelt, 4. die Maximum Likelihood Schätzung für dynamische kognitive Modelle der Blicksteuerung umgesetzt, was nun die Schätzung interindividueller Unterschiede ermöglicht, 5. ein Salienzmodell auf der Basis des Populationsmodells der frühen visuellen Verarbeitung erarbeitet und 6. die Grundlagen eines kombinierten Modells der frühen visuellen Verarbeitung und Blicksteuerung implementiert. Insbesondere das Thema der Bayesschen Inferenz für dynamische kognitiven Modelle wird nun im breiteren Kontext im DFG-Sonderforschungsbereich 1294 “Datenassimilation: Die nahtlose Verschmelzung von Daten und Modellen” in Potsdam erforscht. Diese Projekt hat dazu wichtige Grundlagen gelegt. Inspiriert durch den Erfolg des Populationsmodells der frühen visuellen Verarbeitung als erste Verarbeitungsstufen (front-end) unseres kombinierten Modells für die Blicksteuerung arbeiten wir in Tübingen daran, dass Modell ähnlich auch als front-end für tiefe neuronale Netzwerke zu verwenden, um deren Verhalten dem des Menschen anzunähern. Auch hierzu hat das Projekt wichtige Grundlagen gelegt.

Publications

• (2016). Influence of initial fixation position in scene viewing. Vision Research, 129, 33–49
  Rothkegel, L. O. M., Trukenbrod, H. A., Schütt, H. H., Wichmann, F. A., & Engbert, R.
  
• (2015). Spatial statistics and attentional dynamics in scene viewing. Journal of Vision, 15(1), 14:1–17
  Engbert, R., Trukenbrod, H. A., Barthelmé, S., & Wichmann, F. A.
  
• (2016). Painfree and accurate Bayesian estimation of psychometric functions for (potentially) overdispersed data. Vision Research, 122, 105–123
  Schütt, H. H., Harmeling, S., Macke, J. H. & Wichmann, F. A.
  
• (2017). An image-computable psychophysical spatial vision model. Journal of Vision 17(12):12
  Schütt, H. H., & Wichmann F. A.
  
• (2017). Likelihood-based Parameter Estimation and Comparison of Dynamical Cognitive Models. Psychological Review, 124(4), 505–524
  Schütt, H. H., Rothkegel, L. O. M., Trukenbrod, H. A., Wichmann, F. A., & Engbert, R.
  
• (2017). Temporal evolution of the central fixation bias in scene viewing. Journal of Vision, 17(13), 3-3
  Rothkegel, L. O., Trukenbrod, H. A., Schütt, H. H., Wichmann, F. A., & Engbert, R.
  
• (2019). Disentangling bottom-up versus top-down and low-level versus high-level influences on eye movements over time. Journal of Vision 19(3):1
  Schütt, H. H., Rothkegel, L. O. M., Trukenbrod, H. A., Engbert, R., & Wichmann, F. A.
  
• (2019). Searchers adjust their eye-movement dynamics to target characteristics in natural scenes. Scientific Reports, 9:1635
  Rothkegel, L. O. M., Schütt, H. H., Trukenbrod, H. A., Wichmann, F. A., & Engbert, R.
  
• (2019). Spatial statistics for gaze patterns in scene viewing: Effects of repeated viewing. Journal of Vision, 19(6):5
  Trukenbrod, H. A., Barthelmé, S., Wichmann, F. A., & Engbert, R.