Detailseite
Projekt
Gesteninteraktionsparadigmen für Intelligente Umgebungen
Antragstellerinnen / Antragsteller
Professorin Dr. Susanne Boll; Professor Dr. Antonio Krüger
Fachliche Zuordnung
Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
Förderung
Förderung seit 2020
Projektkennung
Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 425868555
Freihandgesten haben ein großes Potenzial, die Interaktion mit intelligenten Computerumgebungen zu gestalten und könnten neben dem Touch-Paradigma ein weiteres wichtiges Interaktionsparadigma in der Zukunft darstellen. Während die 3D-Gesteninteraktion seit vielen Jahren erforscht wird, sind die wissenschaftlichen Erkenntnisse über ihre syntaktische Struktur und die Anwendbarkeit in verschiedenen intelligenten Computerumgebungen immer noch fragmentiert und an bestimmte begrenzte Domänen gebunden. Dies macht es für Interaktionsdesigner von intelligenten Computerumgebungen sehr schwierig zu entscheiden, welche spezifischen Gesten in welchen Situationen und Umgebungen verwendet werden sollten. Basierend auf der Erkenntnis, dass robuste Techniken zur Erkennung von Gesten auf Verhaltensebene bald überall verfügbar sein werden (durch verschiedene Sensoren, z.B. Tiefenkameras), wollen wir Modelle entwickeln und auswerten, die alle relevanten syntaktischen und semantischen Aspekte von Gesten abdecken, die für die erfolgreiche Anwendung von Gesten in intelligenten Computerumgebungen von Bedeutung sind. Zu diesem Zweck planen wir die Entwicklung eines allgemeinen Gestenvokabulars und einer Gestengrammatik, die über Domänen hinweg einsetzbar ist. Diese werden auf einer groß angelegten Erhebung in zwei Domänen basieren: Smart Homes Bereich und intelligente Einzelhandelsumgebungen, die zu einem großen Gestenkorpus für weitere Analysen zusammengefasst werden. Eine neuartige Gestennotation wird entwickelt, um die Annotation des Korpus zu erleichtern und Freihandgesten für weitere Auswertungszwecke zu reproduzieren. Das geplante Gestenmodell basiert dabei auf vier Dimensionen, die sich auf die sozialen, räumlichen, physischen und kognitiven Anforderungen im Zusammenhang mit Freihand-Gesten beziehen. Im Laufe des Projekts werden entsprechende Metriken entwickelt, um einen aussagekräftigen Vergleich von Gesten zu ermöglichen. Diese Metriken werden auch dazu beitragen, den Korpus umfassender als bisher möglich zu annotieren. Unsere Ergebnisse werden in groß angelegten Feld- und Laborstudien empirisch validiert. Als weiteres Ergebnis des Projekts planen wir die Bereitstellung einer Software-Suite, die es anderen Forschern ermöglicht, unsere Studien durchzuführen und zu replizieren. Während des Projekts werden wir einzelne Module der Software-Suite entwickeln und sukzessive nutzen und unseremkommentierten Gestenkorpus zur Verfügung stellen. Dazu gehören die Entwicklung eines Gestennotation-Editors, der zur Bearbeitung des Corpus verwendet wird, eines Annotation-Editors, der die Kommentierung der Geste entlang der vier oben beschriebenen Dimensionen erlaubt, eines Grammatik-Editors, der Semantik für Gestensequenzen bereitstellt, und eines Evaluierungs-Toolkits zur Unterstützung von Online-Nutzungsstudien mit einem Gestenkorpus. Die Software-Suite wird im Laufe des Projekts sukzessive der Allgemeinheit zur Verfügung gestellt.
DFG-Verfahren
Schwerpunktprogramme
