Detailseite
Projekt
SimGest -- Simulation skalierbarer gestenbasierter Mensch-Maschine-Interaktion
Antragsteller
Dr. Marc Hesenius; Professor Dr. Stefan Schneegass
Fachliche Zuordnung
Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
Förderung
Förderung seit 2023
Projektkennung
Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 521585176
Gestensteuerung ist eine Art der Mensch-Computer-Interaktion, bei der kein Zeiger auf ein virtuelles Objekt bewegt wird, sondern die Bewegung Nutzender selbst die Interaktion darstellt. Heutzutage sind Oberflächengesten eine gängige Interaktionsmodalität auf Mobiltelefonen und großen interaktiven Whiteboards, aber mit den Fortschritten in der virtuellen und erweiterten Realität und der zunehmenden Verfügbarkeit von Head-Mounted Displays gewinnen räumliche Gesten immer mehr an Bedeutung. Insbesondere Anwendungsfälle, die ungewöhnliche Szenarien abdecken, bringen zusätzliche Einschränkungen für das Gestendesign mit sich und erfordern die Erstellung eines Interaktionskonzepts, das kontextuelle Faktoren und andere Aspekte berücksichtigt. Softwareentwickler stehen bei der Entwicklung gestenbasierter Anwendungen jedoch vor einer Vielzahl von Herausforderungen. Gesten müssen erkennbar sein, d.h. die Bewegungen des Benutzers müssen mit bekannten Gesten abgeglichen werden und die Anwendung muss entsprechend reagieren. Gesten müssen robust sein, d. h. die Reaktion der Anwendung darf nicht durch Leistungsunterschiede zwischen verschiedenen Benutzern beeinträchtigt werden. Gesten müssen auch zum Gerät passen, wobei verschiedene Faktoren wie die Haltung des Geräts eine Rolle spielen. Vor allem aber müssen die Gesten zum Benutzer passen, d.h. Ergonomie, Einprägsamkeit und semantische Mehrdeutigkeit der Gesten sowie die motorischen Fähigkeiten müssen bei der Entwicklung berücksichtigt werden, da sie die individuelle User Experience stark beeinflussen. Und Gesten müssen skalieren und sich an den Kontext und die Umgebung des Benutzers anpassen, d.h. an die aktuelle Situation, in der sich der Benutzer befindet, z.B. soziales Umfeld, Standort oder aktuelle Aufgabe. Diesen Herausforderungen muss nicht nur mit geeigneten Entwicklungswerkzeugen begegnet werden: Sie erfordern vor allem ein intensives Testen der Anwendung im Allgemeinen und der Interaktionsmodalitäten im Besonderen. Zum Testen der Interaktion gehört es außerdem, Eingaben zu generieren und die Ausgaben zu untersuchen, d.h. reale Gesten auszuführen und zu prüfen, ob die Anwendung wie erwartet reagiert. Da das manuelle Testen zeit- und kostenaufwändig ist, ist eine Automatisierung der Tests wünschenswert, setzt aber Fähigkeiten zur Gestensimulation voraus, die nicht im notwendigen Umfang vorhanden sind. Da Gesten unscharf sind, muss die Gestensimulation Gesten generieren, die im Hinblick auf die Abweichungen, die sich aus verschiedenen Benutzergruppen und den oben genannten Aspekten ergeben, verzerrt sind. Und je weiter der Stand der Technik zu anspruchsvolleren Arten der gestenbasierten Interaktion fortschreitet, z. B. mit intelligenten Textilien oder anderen Geräten, desto mehr müssen die Testmöglichkeiten mit den Gesten skalieren. In diesem Projekt wollen wir durch empirische Studien die notwendigen Grundlagen für die Simulation von Gestenleistungen verschiedener Nutzergruppen schaffen.
DFG-Verfahren
Schwerpunktprogramme
