Greifbare Interaktion: Benutzerinteraktionskonzepte basierend auf Greifverhalten

• Antragsteller: Professor Dr.-Ing. Lars Linsen; Dr. Dimitar Valkov
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2020
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 436291335

Während interaktive 3D Umgebungen in den letzten Jahren immer mehr an Bedeutung gewonnen haben, sind 3D Benutzerschnittstellen oftmals immer noch sehr komplex und erfordern spezielle Fähigkeiten oder Training. Interaktion mit Handgesten sind ein aktives Forschungsthema im Bereich der 3D Benutzerschnittstellen, wobei jedoch die Forschungsergebnisse aus verwandten Bereichen der Psychologie selten Beachtung finden. Diverse psychologische Studien haben konsistent gezeigt, dass die natürliche Kinematik menschlichen Greifens Vorhersagen über das Zielobjekt und manchmal sogar über die anschließend mit dem Zielobjekt durchgeführte Aktion erlauben. Diverse Studien untersuchten verschiedene Faktoren, die die Greifkinematik beeinflussen, wie Größe und Form des Objekts, spezifischen Nutzungsmöglichkeiten und beabsichtigte Nutzung sowie der Einfluss von Hindernissen und Ablenkungen. Weitere Studien beschäftigten sich mit den Unterschieden beim Greifen von realen und virtuellen Objekten. Andererseits wurde gezeigt, dass die algorithmische Komplexität einer Greifbewegung erheblich reduziert werden kann, da die Bewegungen einzelner Finger stark korreliert sind. Diese Erkenntnisse versprechen ein enormes Potenzial für die Verbesserung interaktiver 3D Umgebungen unter der Voraussetzung, dass die Information der Handkinematik in Echtzeit extrahiert und evaluiert werden kann und unmittelbar in die Benutzerschnittstelle einfließen kann.Im Rahmen dieses Vorhabens werden wir ein allgemeines Framework für die Analyse von Greifgesten zur Mensch-Maschine-Interaktion aufbauen und die Anwendbarkeit von Greifkinematik zum Design natürlicher Benutzerschnittstellen für die Interaktion mit computergenerierten virtuellen Umgebungen erforschen. Wir planen, eine Reihe von Experimenten durchzuführen, in denen die Handkinematik der Nutzer in verschiedenen Anwendungsszenarien, beim Erfüllen verschiedener Aufgaben und unter Verwendung verschiedener Methoden untersucht wird. Das Ziel ist, ausreichend Daten zu sammeln, effektive interaktive visuelle Methoden zu deren Analyse zu entwickeln und Nutzen und Grenzen zur Vorhersage von Zielobjekten und deren Nutzung aus Handkinematikdaten zu erforschen. Die zu erwartenden Erkenntnisse werden es uns erlauben, die Designmöglichkeiten zukünftiger interaktiver Systeme basierend auf natürlichen Handinteraktionen, d.h. ohne dass man sich spezielle Gesten oder Fähigkeiten aneignen muss, zu erforschen.

• DFG-Verfahren: Sachbeihilfen