Akquisition, Modifikation und Darstellung von Reflektanzfeldern

• Applicant: Professor Dr.-Ing. Hendrik Lensch
• Subject Area: Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
• Term: from 2007 to 2017
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 41508900

• Final Report Year: 2017

Final Report Abstract

In dem Projekt wurden neue Methoden und Technologien erforscht, um die Reflexionseigenschaften von realen Objekten effizient zu erfassen, sie zu verändern und sogar wieder reproduzieren zu können. Es wurden zum ersten Mal dichte, adaptiv abgetastete Reflektanzfelder aufgenommen, die sogar für hoch glänzende und spiegelende Materialien eine photorealistische Reproduktion in neuer Beleuchtung erlauben. Ein weiterer Schwerpunkt lag in der Erforschung von Methoden zur Aufnahmen von spektral aufgelösten Reflexionseigenschaften. Hier wurde ein neues Modell und Aufnahmesystem zur präzisen Vermessung und Darstellung von fluoreszenten Materialien entwickelt. Es konnte gezeigt werden, dass auch die fluoreszente Reemission nicht-triviale winkelabhängige Lichtverteilungen produziert. Um Materialmessungen auch außerhalb des Labors durchführen zu können, wurden Techniken entwickelt, die aus unkontrolliert aufgenommenen Bildsequenzen die Geometrie, die einfallende Beleuchtung und die Reflexionseigenschaften sehr gut bestimmen können. Für die Interaktion mit realen Szenen wurde ein neuartiges VR/AR-System vorgestellt, dass in Echtzeit eine Modifikation der Oberflächeneigenschaften durch speziell kontrollierte Projektionsmuster simulieren kann. Außerdem wurden Techniken vorgestellt, die eine Reproduktion von Reflektanzfeldern erlauben, die sich dann in natürlichen Beleuchtungsverhältnissen so verhalten, wie das Orginalobjekt. Dem Ziel, reale Objekte und Szenen nicht nur als Foto zu konservieren, sondern alle optischen Eigenschaften zu erfassen und wiedergeben zu können, sind wir mit diesen Arbeiten deutlich näher gekommen. Bei der Durchführung der Forschung innerhalb der Emmy-Noether-Nachwuchsgruppe waren eine Vielzahl an Studierenden und Doktoranden und PostDocs beteiligt.

Publications

• Acm trans. graphics (proc. acm siggraph). ACM Trans. Graph., 27(3):87:1–87:10, August 2008
  Matthias B. Hullin, Martin Fuchs, Ivo Ihrke, Hans-Peter Seidel, and Hendrik P. A. Lensch
  
• Towards passive 6d reflectance field displays. ACM Trans. Graphics (Proc. ACM SIGGRAPH), 27(3):58:1– 58:8, August 2008
  Martin Fuchs, Ramesh Raskar, Hans-Peter Seidel, and Hendrik P. A. Lensch
  
• Printing spatially-varying reflectance. ACM Trans. Graph., 28(5):128:1–128:9, 2009
  Wojciech Matusik, Boris Ajdin, Jinwei Gu, Jason Lawrence, Hendrik P. A. Lensch, Fabio Pellacini, and Szymon Rusinkiewicz
  
• Relighting objects from image collections. In 2009 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2009), 20-25 June 2009, Miami, Florida, USA, pages 627–634, 2009
  Tom Haber, Christian Fuchs, Philippe Bekaert, Hans-Peter Seidel, Michael Goesele, and Hendrik P. A. Lensch
  
• Acquisition and analysis of bispectral bidirectional reflectance and reradiation distribution functions. ACM Trans. Graphics (Proc. ACM SIGGRAPH), 29(4):97:1–97:7, July 2010
  Matthias B. Hullin, Johannes Hanika, Boris Ajdin, Hans-Peter Seidel, Jan Kautz, and Hendrik P. A. Lensch
  
• Geometry construction from caustic images. In Computer Vision – ECCV 2010, volume 6315 of Lecture Notes in Computer Science, pages 464–477. Springer, 2010
  Manuel Finckh, Holger Dammertz, and Hendrik P.A. Lensch
  
• Optimal hdr reconstruction with linear digital cameras. In CVPR, pages 215–222, 2010
  Miguel Granados, Boris Ajdin, Michael Wand, Christian Theobalt, Hans-Peter Seidel, and Hendrik P. A. Lensch
  
• Dynamic display of brdfs. Computer Graphics Forum, 30(2):475–483, 2011
  Matthias B. Hullin, Hendrik P. A. Lensch, Ramesh Raskar, Hans-Peter Seidel, and Ivo Ihrke
  
• Edge-optimized a-trous wavelets for local contrast enhancement with robust denoising. Computer Graphics Forum, 30(7):1879–1886, 2011
  Johannes Hanika, Holger Dammertz, and Hendrik Lensch
  
• The frankencamera: An experimental platform for computational photography. ACM Trans. Graphics (Proc. ACM SIGGRAPH), 55(11):90–98, November 2012
  Andrew Adams, David E. Jacobs, Jennifer Dolson, Marius Tico, Kari Pulli, Eino-Ville Talvala, Boris Ajdin, Daniel Vaquero, Hendrik P. A. Lensch, Mark Horowitz, Sung Hee Park, Natasha Gelfand, Jongmin Baek, Wojciech Matusik, and Marc Levoy
  
• Scalable structure from motion for densely sampled videos. In IEEE Computer Vision and Pattern Recognition (CVPR), pages 3936–3944, 2015
  Benjamin Resch, Hendrik P. A. Lensch, Oliver Wang, Marc Pollefeys, and Alexander Sorkine- Hornung
  
• Simultaneous estimation of spectral reflectance and normal from a small number of images. In VISAPP 2015 - Proceedings of the 10th International Conference on Computer Vision Theory and Applications, Volume 1, Berlin, Germany, 11-14 March, 2015., pages 303–313, 2015
  Masahiro Kitahara, Takahiro Okabe, Christian Fuchs, and Hendrik P. A. Lensch
  
• Dense and occlusion-robust multi-view stereo for unstructured videos. In 13th Conference on Computer and Robot Vision (CRV), 2016
  Jian Wei, Benjamin Resch, and Hendrik P.A. Lensch