Interagieren Lernen

• Antragsteller: Professor Dr. Andreas Bulling
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2026
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 569311510

Damit künstlich intelligente (KI) Systeme effektiv mit ihren Nutzern interagieren können, benötigen sie ein umfassendes Verständnis ihres interaktiven Verhaltens, d. h. der spezifischen Abfolge von Eingabeaktionen, die Nutzer bei der Interaktion mit einer Benutzeroberfläche ausführen. In der Mensch-Computer-Interaktion (HCI) umfassen die vorherrschenden Ansätze zur Modellierung des interaktiven Verhaltens deskriptive Modelle (z. B. Modelle auf Tastaturebene, KLM) oder prädiktive Modelle (z.B. Fitts' Law), sowie auf maschinellem Lernen basierende Methoden. Alle diese Modelle beschränken sich jedoch entweder auf die Ausführungszeit einer Aufgabe als einziges Maß für die Benutzerleistung, gehen von erfahrenen Benutzern aus, die keine Fehler machen, berücksichtigen nur Routineaufgaben, oder sie erfordern hochgradig kontrollierte Setups und sind anwendungs- oder aufgabenspezifisch, was ihre Verallgemeinerbarkeit stark einschränkt. Ziel dieses Projekts ist es, einen völlig neuen Ansatz für die Modellierung des interaktiven Nutzerverhaltens zu entwickeln. Inspiriert von der Forschung auf dem Gebiet der Maschinellen Sprachverarbeitung wollen wir semantisch reichhaltige und wiederverwendbare Interaktionsrepräsentationen auf unüberwachte Weise aus großen, nicht-annotierten Daten lernen. Ähnlich wie bei natürlicher Sprache ist interaktives Verhalten zeitlich/sequenziell und hat eine reichhaltige interne Struktur und wechselseitige Abhängigkeiten zwischen seinen Grundbausteinen. Darüber hinaus weist interaktives Verhalten eine große Anzahl konsistenter, globaler und benutzerunabhängiger Merkmale auf. Trotz dieser auffälligen Gemeinsamkeiten sind Repräsentationen von interaktivem Verhalten in der HCI noch wenig erforscht. Um dieses Ziel zu erreichen, wird dieses Projekt vier komplementäre Forschungsherausforderungen an der Schnittstelle von KI und HCI angehen: 1) Erstellung eines großen und variablen Interaktionskorpus, der für das Training von Interaktions-Repräsentationen geeignet ist. 2) Entwicklung computergestützter Methoden zur Kodierung von Verhaltensdaten, Analyse ihrer Ähnlichkeit mit natürlicher Sprache in Bezug auf ihre Struktur und internen Abhängigkeiten, sowie Identifizierung grundlegender und übergeordneter Bausteine der "Sprache der Interaktion". 3) Entwicklung unüberwachter Methoden zum Erlernen und Analysieren von Interaktions-Repräsentationen selbst, sowie gemeinsam mit Repräsentationen, die die Semantik von Benutzeroberflächen kodieren. 4) Anwendung dieser Repräsentationen für anspruchsvolle und neuartige Aufgaben, wie z.B. die Extraktion von Schlüsselaktionen aus interaktivem Verhalten, Frage-Antwort zu interaktivem Verhalten oder die automatische Optimierung von Beutzerschnittstellen-Designs.

• DFG-Verfahren: Sachbeihilfen