Interaktion über Multiversen hinweg in Desired Realities

• Antragsteller: Dr. Andreas Fender, Ph.D.
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2026
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 563933827

Ungenauigkeit und Unsicherheit von Eingaben ist seit langem eine Herausforderung innerhalb von Mensch-Maschine Interaktion (Human-Computer Interaction). Insbesondere bei Mid-Air-Interaktionen - ein Standard, der in Virtual Reality Applikationen genutzt wird - können Eingaben aus mehreren Gründen ungenau sein. Im Gegensatz zu konventioneller Eingabe beruhen Mid-Air Eingaben auf potenziell fehleranfälligem Tracking von Händen oder handgehaltenen Controllern. Selbst unter der Annahme von perfektem Tracking, führen Ungenauigkeiten des Nutzers (z.B. ungenaue Bewegungen oder natürliches Zittern der Hände) zu Unsicherheiten in der Interpretation der Eingabe. Bisherige Forschung zielte darauf ab, solche Ungenauigkeiten mit Wahrscheinlichkeitsmodellen aufzulösen - typischerweise innerhalb eines spezifischen Anwendungskontextes (z.B. Texteingabe mit Auto-complete). NutzerInnen sehen dabei immer ein einziges Ergebnis oder disambiguieren explizit (z.B. durch Selektion eines Wortes aus einer Liste von Vorschlägen. Wir schlagen ein neuartiges, Multiverse-inspiriertes Paradigma vor, in welchem Ungewissheit ein fundamentaler Teil der Anwendung ist. Als eine Instanz dieses Paradigmas beschreiben wir eine Architektur, welche sich um "Possibilities" dreht. Die Architektur ermöglicht es, die Anwendung jederzeit in ein sichtbares Multiversum aufzuspalten, sobald die Eingabe unsicher ist. Nutzer sehen alle Possibilities gleichzeitig und interagieren einfach entsprechend der gewünschten Possibility. Possibilities, die ignoriert werden, verschwinden dann auf natürliche Weise. Dieser Ansatz bewahrt die Entscheidungsfreiheit (agency) der Nutzer, ohne auf explizite Selektion der gewünschten Possibility zurückzugreifen. Dies vermeidet auch Kosten von Fehlerkorrekturen. Aufgrund unserer Multiverse-Architektur können Unsicherheiten in verschiedenen Anwendungskontexten aufgelöst werden. Das heißt, dass eine ungenaue Menü-Selektion zu einem späteren Zeitpunkt durch Interaktion in der virtuellen Umgebung aufgelöst werden kann. Ein Beispiel ist ein Nutzer, der ein Werkzeug in einem Mid-Air-Menü auswählen, aber der Button-press ist ungenau, so dass entweder ein Pinsel- oder ein Spray-Werkzeug gemeint war. Durch nachfolgende Interaktion, d.h., Bewegungen um ein virtuelles Objekt herum, die entweder Pinsel- oder Spray-Werkzeugen entsprechen, wird die frühere Selektion disambiguiert. Unser Possibility-basiertes Paradigma handhabt solche cross-context Ungewissheiten implizit, ohne Beeinträchtigung von Verkapselung und anderer Aspekte von skalierbarer Entwicklung von interaktiven Virtual Reality Applikationen. Unser Paradigma eröffnet viele Herausforderungen und Möglichkeiten, sowohl aus einer technischen, als auch aus einer Human-Factors Perspektive. In diesem Projekt implementieren wir unsere Multiverse-Architektur, entwickeln Ansätze für Multiverse Physics und Rendering, und erforschen die Vorteile und Limitierungen von Multiverse Interaction mit Hilfe von Nutzer- und Wahrnehmungsstudien.

• DFG-Verfahren: Sachbeihilfen
• Mitverantwortlich: Professor Dr. Dieter Schmalstieg