Semantische Blickvorhersage in Online Kollaborationen

• Antragsteller: Professor Dr. Steffen Staab
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Künstliche Intelligenz und Maschinelle Lernverfahren
• Förderung: Förderung seit 2026
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 578894011

Indem wir Augenbewegungen verstehen und vorhersagen, können wir Benutzer von grafischen Bedienungsoberflächen (GUIs) mit diversen kognitiven und motorischen Fähigkeiten besser unterstützen. Augenbewegungen werden von kontextuellen Faktoren beeinflusst - wie den Aufgaben und dem sozialen Kontext der Nutzer und der Bedeutung der wahrgenommenen Inhalte. Existierende Vorhersagemodelle berücksichtigen diese kontextuellen Faktoren, die in GUIs allgegenwärtig sind, aber bisher kaum. Wir verfolgen das Ziel, Kontext zu verwenden, um Algorithmen zur Vorhersage von Augenbewegungen zu verbessern. Hierfür definieren wir drei Teilziele, die Kontextinformationen zunehmender Komplexität integrieren: (Z1) Integration der Semantik der Aufgaben und der grafischen Benutzeroberflächen; (Z2) Integration eines pragmatischen Modells für parasoziale Interaktionen; (Z3) Integration eines pragmatischen Modells für kollaborative Interaktionen. In drei entsprechenden Arbeitspaketen (WP1-WP3) sammeln wir experimentelle Daten, entwickeln neue Algorithmen und validieren und vergleichen neue mit existierenden Algorithmen. WP1 erforscht Deep-Learning-Modelle, die natürlichsprachliche Beschreibungen von Aufgaben und das Layout und den Inhalt von GUIs analysieren und diese in neuartige Algorithmen zur Vorhersage von Augenbewegungen integrieren. Neuronale Netzwerkarchitekturen (Transformer und Diffusion Models) bilden verschiedene Eingabedatenströme in gemeinsame latente Räume ab und Decoders sagen autoregressiv Augen- und Mausbewegungen vorher. WP2 entwickelt neue Algorithmen für den Kontext von parasozialen Interaktionen. Diese sind durch eine starke Asymmetrie zwischen einem aktiven Nutzer, der die Kommunikation dominiert, und passiven Nutzern gekennzeichnet. Hierfür untersuchen wir, wie die Aufmerksamkeit von passiven an die der aktiven Nutzer gekoppelt ist und wie diese Kopplung mit dem Kommunikationserfolg korreliert. WP3 erweitert diese Resultate für die Kontexte von Kollaboration und Kooperation, in denen alle Nutzer aktiv sind. Kooperierende Benutzer teilen sich die Arbeitslast, arbeiten unabhängig voneinander und führen ihre Ergebnisse zusammen. Kollaborierende Benutzer arbeiten gleichzeitig an demselben Objekt. Wir beabsichtigen, die Blicke und Mauspositionen aller Benutzer vorherzusagen und hierfür Beobachtungen der Blicke und Mausbewegungen der jeweils anderen zu nutzen. Insbesondere werden wir untersuchen, wie sich Kollaboration und Kooperation durch Blickmuster unterscheiden und die Übergänge zwischen diesen beiden Formen der sozialen Interaktion erkennen lassen. Mit der Analyse von Blickaktivitäten in visuellen und aufgabengeleiteten Kontexten und Mehrbenutzerszenarien wird SemCoGaze grundlegend zum Verständnis von Aufmerksamkeit beitragen, was in Zukunft helfen wird, Benutzer bei Interaktionen mit dem Computer zu unterstützen. Daten und Software werden datenschutzkonform veröffentlicht.

• DFG-Verfahren: Sachbeihilfen