Aktives Sehen: Kontrolle von Augenbewegungen und probabilistisches Planen
Zusammenfassung der Projektergebnisse
Eine fundamentale Komponente menschlicher Interaktion mit der Welt besteht im Erlangen von Informationen, die wir für das Erreichen unserer Handlungsziele benötigen. Was dies zu einem schwierigen Problem macht, ist die unausweichliche probabilistische Natur unserer Welt. Augenbewegungen verkörpern paradigmatisch ein Verhalten, in dem vielfältige Unbestimmtheiten von Sinneseindrücken und Unvorhersehbarkeiten unserer Handlungen interagieren. Um die Unbestimmtheit unserer visuellen Umgebung zu reduzieren, bewegen wir unsere Augen sequentiell an verschiedene Stellen in unserem visuellen Feld. Aufgrund der dort gewonnenen Informationen und interner Zustände entscheiden wir, wohin wir unseren Blick als nächstes richten. Dementsprechend ist es in solchen Szenarien besonders wichtig, Strategien anzuwenden, die mit diesen Unsicherheiten intelligent und adaptiv umgehen, damit wir unsere langfristigen Ziele erfolgreich erreichen können. Deshalb ist es meist suboptimal, nur die nächste Augenbewegung zu planen. In diesem Projekt wurde menschliches Verhalten in sequenziellen Aufgaben, bei denen Ziele mit kontrollierter räumlicher und zeitlicher Statistik erreicht werden müssen, experimentell untersucht. Um das beobachtete menschliche Verhalten zu verstehen, haben wir normative Modelle entwickelt, die auf sequenziellen Entscheidungen unter Unsicherheit basieren, insbesondere Partially Observable Markov Decision Processes (POMDP), die kognitive und sensomotorische Kosten für visuelles Verhalten beinhalten. Zunächst wurde untersucht, wie sich Blinzeln an die Ereignisstatistik der Umgebung und die Anforderungen einer Aufgabe anpasst. Ein Modell des Blinzelns als probabilistisches Planen wurde entwickelt, wobei Ereignisse einem inhomogenen Poisson-Prozess folgen, einem sehr allgemeinen Modell von natürlichen Ereignisstatistiken. Zweitens wurden Blickbewegungen, die einen kontinuierlichen Wechsel zwischen einer Belohnungsaufgabe und einer Überwachungsaufgabe erfordern, untersucht. Ein probabilistisches Planungsmodell zeigte, dass die Versuchspersonen adaptiv die Kosten für das Sammeln von Informationen und von Belohnungen abwägten, aber auch ihre internen Kosten für einen Wechsel und die kognitiven Kosten für die Überwachung berücksichtigten. Drittens wurde gezeigt, dass die Integration der gemessenen Kosten menschlicher Blickbewegungen die Vorhersage des nächsten Blickziels in mehreren aktuellen Salienzmodellen verbessern kann. Viertens wurde die Untersuchung der Anpassungsfähigkeit von Blickbewegungen bei Aufgaben, die klassischerweise als offene, kognitive Planung verstanden werden, gezeigt, dass Blicke beim Lösen von Labyrinthen mit den kognitiven Planungskosten, d.h. der Anzahl der in Betracht gezogenen alternativen Pfade und ihrer jeweiligen Länge, in Beziehung gesetzt werden kann. Fünftens haben wir ein System entwickelt, das die Lesegeschwindigkeit einzelner Teilnehmer misst und daraufhin schrittweise neue Schriftarten entwickelt. Nach unserem Kenntnisstand ist dies die erste individualisierte, adaptive, interaktive Schriftart. Wir konnten zeigen, dass Versuchspersonen innerhalb eines einstündigen Experiments ihre Lesegeschwindigkeit um bis zu 20 % verbessern konnten. Patente für dieses System wurden sowohl für Deutschland als auch für die USA erteilt.
Projektbezogene Publikationen (Auswahl)
-
AdaptiFont: Increasing Individuals’ Reading Speed with a Generative Font Model and Bayesian Optimization. Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems, 1-11. ACM.
Kadner, Florian; Keller, Yannik & Rothkopf, Constantin
-
Trade-off between uncertainty reduction and reward collection reveals intrinsic cost of gaze switches. Journal of Vision, 22(14), 3400.
Kadner, Florian; Wilke, Tabea A.; Vo, Thi DK; Hoppe, David & Rothkopf, Constantin A.
-
Finding your Way Out: Planning Strategies in Human Maze-Solving Behavior. In Proceedings of the Annual Meeting of the Cognitive Science Society (Vol. 45, No. 45).
Kadner, F., Willkomm, H., Ibs, I. & Rothkopf, C.
-
Improving saliency models’ predictions of the next fixation with humans’ intrinsic cost of gaze shifts. 2023 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 2103-2113. IEEE.
Kadner, Florian; Thomas, Tobias; Hoppe, David & Rothkopf, Constantin A.
-
Active vision as sequential decision-making under uncertainty. [Doctoral dissertation, Technical University of Darmstadt].
Kadner, F.
