IPAR: Interacting with Photorealistic Augmented Reality

• Applicants: Professor Dr.-Ing. Raimund Dachselt; Professor Dr. Thorsten Grosch
• Subject Area: Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
• Term: from 2012 to 2017
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 211423895

• Final Report Year: 2016

Final Report Abstract

Im IPAR Projekt wurde ein System zur photorealistischen und interaktiven Augmentierung für die Kamerabilder mobiler Geräte entwickelt. Eingefügte virtuelle Objekte passen sich dabei an die reale Beleuchtung an und wirken somit wie reale Objekte. Ermöglicht wird dies durch eine permanente Messung des realen Umgebungslichts mit mehreren High-Dynamic-Range-Weitwinkelkameras, was eine sofortige Reaktion auf Änderungen in der Beleuchtung ermöglicht. Für die gemessene Leuchtdichteverteilung auf der realen Szene wurde eine komprimierte Darstellung für eine schnelle Beleuchtungssimulation entwickelt. Diese Lichtsimulation wird dann für die eingefügten virtuellen Objekte durchgeführt, und die konsistent beleuchteten virtuellen Objekte und ihre Schatten konnen schließlich mit einer differenziellen Renderingtechnik in das reale Kamerabild integriert werden. Da ein mobiles Gerät zu leistungsschwach für eine solche Berechnung ist, wurde eine verteilte Beleuchtungstechnik für einen stationären PC und mehrere mobile Geräte entwickelt. Hierbei werden sowohl die Stärken beider Gerätetypen ausgenutzt als auch die Größe der Datenübertragung gering gehalten. Somit werden Latenzen minimiert und eine verzögerungsfreie, direkte Interaktion mit den virtuellen Objekten ermöglicht, wie das Drehen und Verschieben von Objekten durch einfache Touch-Gesten auf einem mobilen Gerät. Im Projekt wurden drei verschiedene Klassen von Interaktion untersucht: Zum einen wurden natürliche Remote-Interaktionstechniken auf Mobilgeräten zur entfernten Interaktion mit Augmented Reality betrachtet. Weiterhin wurde die lokale Interaktion direkt an der Augmentierung im Rahmen von Contact Augmented Reality untersucht. Dies geschieht mit Hilfe transparenter Mobilgeräte, die auf das zu augmentierende Objekt gelegt werden. Schließlich kamen auch projektive Lösungen für räumliche Interaktion zum Einsatz. Neben den grundlegenden, kanonischen Interaktionstechniken wurden auch komplexere Interaktionen für Anwendungsfälle wie Wartungsarbeiten, Navigation und Produktdesign eingehend untersucht. Die Qualität und Wichtigkeit dieser Forschung werden durch den Best Paper Award auf der größten Augmented Reality Konferenz ISMAR’14 sowie durch einen Honorable Mention Award auf der DIS ’14 belegt.

Publications

• Towards Interaction with Transparent and Flexible Displays. CHI 2013 Workshop on Displays Take New Shape: An Agenda for Future Interactive Surfaces, CHI 2013, 2013
  Wolfgang Büschel, André Viergutz und Raimund Dachselt
  
• cAR: Contact Augmented Reality with Transparent-Display Mobile Devices. Proc. ACM Int. Symposium on Pervasive Displays, S. 80-85, 201
  Juan David Hincapié-Ramos, Sophie Roscher, Wolfgang Büschel, Ulrike Kister, Raimund Dachselt und Pourang Irani
  
• Interactive Near-field Illumination for Photorealistic Augmented Reality on Mobile Devices. Proc. IEEE Int. Symposium on Mixed and Augmented Reality, S. 29-38, 2014, ausgezeichnet mit Best Paper Award
  Kai Rohmer, Wolfgang Büschel, Raimund Dachselt und Thorsten Grosch
  
• SleeD: Using a Sleeve Display to Interact with Touch-sensitive Display Walls. Proc. ACM Int. Conference on Interactive Tabletops and Surfaces, S. 129-138, 2014
  Ulrich von Zadow, Wolfgang Büschel, Ricardo Langner und Raimund Dachselt
  
• T4 - Transparent and Translucent Tangibles on Tabletops. Proc. ACM Int. Working Conference on Advanced Visual Interfaces, S. 81-88, 2014
  Wolfgang Büschel, Ulrike Kister, Mathias Frisch und Raimund Dachselt
  
• Tangible displays for the masses: spatial interaction with handheld displays by using consumer depth cameras. Personal and Ubiquitous Computing Vol. 18, Nr. 5, S. 1213-1225, 2014
  Martin Spindler, Wolfgang Büschel, Charlotte Winkler und Raimund Dachselt
  
• tPad: designing transparent-display mobile interactions. Proc. ACM Conference on Designing Interactive Systems, S. 161-170, 2014, ausgezeichnet mit Honorable Mention Award
  Juan David Hincapié-Ramos, Sophie Roscher, Wolfgang Büschel, Ulrike Kister, Raimund Dachselt und Pourang Irani
  
• Interactive Near-Field Illumination for Photorealistic Augmented Reality with Varying Materials on Mobile Devices. IEEE Transactions on Visualization and Computer Graphics Vol. 21, No. 12, S. 1349-1362, 2015
  Kai Rohmer, Wolfgang Büschel, Raimund Dachselt und Thorsten Grosch
  
• Tiled Frustum Culling for Differential Rendering on Mobile Devices. Proc. IEEE Int. Symposium on Mixed and Augmented Reality, S. 37-42, 2015
  Kai Rohmer und Thorsten Grosch
  
• Smart Ubiquitous Projection: Discovering Surfaces for the Projection of Adaptive Content. ACM CHI Extended Abstracts on Human Factors in Computing Systems, 2016
  Fabrice Matulic, Wolfgang Büschel, Michael Ying Yang, Stephan Ihrke, Anmol Ramraika, Carsten Rother und Raimund Dachselt
  
• Stylized Caustics: Progressive Rendering of Animated Caustics. Computer Graphics Forum (Proc. Eurographics) Vol. 35, No. 2, May 2016, Pages 243-252
  Tobias Günther, Kai Rohmer, Christian Rössl, Thorsten Grosch und Holger Theisel