AURA: Prinzipien und Verfahren für die Ad-hoc-Interaktion mit nichtpianaren Objekten

• Applicant: Professor Dr. Jan Borchers
• Subject Area: Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
• Term: from 2012 to 2016
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 216900229

• Final Report Year: 2016

Final Report Abstract

Mit dem Forschungsprojekt „AURA”* haben wir ein Verständnis darüber gewonnen, welche Gegenstände sich in unserem alltäglichen Umfeld befinden und welche davon für die Zweckentfremdung als Ein-/Ausgabegeräte geeignet sind. Ferner konnten wir Manipulationsmuster bzw. Gestensets für die Zweckentfremdung starrer und deformierbarer Alltagsgegenstände extrahieren.
 Um Alltagsgegenstände interaktiv machen, d.h. deren Oberflächen touch-sensitiv zu machen und Bewegungen mit dem Objekt im Raum zu identifizieren, entwickelten wir ein Rahmenwerk, das die o.g. Interaktionen mittels Tiefenkamera erkennen kann. Der im Rahmenwerk verwendete Algorithmus bewegt dabei auch die touch-sensitiven Bereiche im 3D Modell mit, wenn das Objekt bewegt wird. Wir verglichen verschiedene Programmiertechniken (mittels Sprachbefehlen, grafischer Benutzeroberfläche und Demonstration), um Endnutzern die Möglichkeit zu geben,einzelne Bereiche auf den Objektoberflächen auf Gesten reagieren zu lassen und mit externen Anwendungen zu verknüpfen. Dabei stellten sich die Programmierung mittels Smartphone UI oder Demonstration als gute Lösungen heraus, auch dann, wenn nicht nur einzelne Touchbereiche programmiert werden sollen, sondern ganze Griffgesten. Der Nutzer kann somit also selbst bestimmen, wie und wofür das Objekt zweckentfremdet wird.
 Um bei gewöhnlicher Berührung des Objekts, z.B.wenn es gehoben wird, keine Aktion mit evtl. berührten Touchbereichen auszulösen, haben wir einen Algorithmus entwickelt, der mit 60% Genauigkeit eine Zuordnung von Finger zu Touchbereichen ermöglicht. So können dann beispielsweise alle Touches, die nicht mit dem Zeigefinger berührt worden sind ignoriert werden. Zur weiteren Unterscheidung der Problematik, ob ein Nutzer ein Objekt nur berührt, um es für seinen üblichen Zweck zu nutzen und damit keine bei möglicherweise berührten Touchbereichen verbundenen Aktionen auszulösen, untersuchten wir wie Nutzer Objekte greifen wenn diese zweckentfremdet werden vs. wenn diese gewöhnlich genutzt werden. Zwar konnten Unterscheidungsmerkmale festgemacht werden, diese gelten aber nur für bestimmte Objekte. Da die Zweckentfremdung ein kreativer Prozess ist und daher nicht unmittelbar für den Nutzer sichtbar ist wo und wie ein Objekt auf Manipulation reagiert, untersuchten wir welche Visualisierungsstrategien sich am besten als Kommunikationsmittel eignen: Solche Labels sollten das Objekt und die darauf angewandte Geste als animierte Miniatur zeigen. Schließlich untersuchten wir auch Anwendungsaspekte für die Zweckentfremdung von Alltagsgegenständen als Ein-/Ausgabegeräte. So können Objekte und deren unterschiedliche physikalischen Eigenschaften (Gewicht, Reibung, etc.) eingesetzt werden um virtuelle Parameter wie Granularität bei der Videonavigation oder Stichstärke eines virtuellen Pinsels haptisch zu machen. Als problematisch in diesem Projekt erwiesen sich vor allem die Vielfalt der Alltagsgegenstände, so dass z.B. bei deformierbaren Objekten eine Anpassung der temporären Form des 3D Modells eines Objekts mittels Masse-Feder-System nur für einfache Objektformen gut funktionierte. Es sind zwar Fortschritte bzgl. der Erkennung von Interaktion mit passiven Objekten mit AURA gemacht worden, dennoch gibt es hier weitere technische Hürden, die wahrscheinlich nur mit Forschung aus dem Bereich der Computergrafik, Computer Vision und Machine Learning zu lösen sind. Auch war die Vorstellung, Alltagsgegenstände könnten als Ein-/Ausgabegeräte verwendet werden für viele Nutzer befremdlich. Die Zweckentfremdung ist ein kreativer Prozess, der von jedem anders interpretiert werden kann.

Publications

• Capturing the Expressiveness of Touch: Detect, Improve, and Extend. Dissertation RWTH Aachen University 2013
  M. Möllers
  
• Fillables: Everyday Vessels as Tangible Controllers with Adjustable Haptics. In Proc. CHI EA 2013, 2129–2138
  C. Corsten, C. Wacharamanotham und J. Borchers
  
• Instant User Interfaces: Repurposing Everyday Objects as Input Devices. Proc. ACM ITS 2013, 71–80
  C. Corsten, I. Avellino, M. Möllers und J. Borchers
  
• An Interaction Model for Grasp-Aware Tangibles on Interactive Surfaces. Proc. ACM ITS 2014, 279–282
  S. Voelker, C. Corsten, N. Al huda Hamdan, K. I. Øvergård und J. Borchers
  
• Von der Fläche zur Kurve: Multi-Touch auf beliebigen Oberflächen und Objekten. In: Multi-Touch: Interaktion durch Bewegung. Springer 2014, 369–392
  J. Borchers, C. Corsten, M. Möllers und S. Völker
  
• HaptiCase: Back-of-Device Tactile Landmarks for Eyes-Free Absolute Indirect Touch. Proc. CHI 2015, 2171–2180
  C. Corsten, C. Cherek, T. Karrer und J. Borchers