Exakte Szenenrekonstruktion aus extrem großen Bildmengen

• Applicant: Professor Dr.-Ing. Michael Goesele
• Subject Area: Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
• Term: from 2009 to 2016
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 110161085

• Final Report Year: 2016

Final Report Abstract

Das Projekt beschäftigte sich im Kern mit der Frage, wie die vielen, auf verschiedenen Internet-Plattformen verfügbaren Bilder (sogenannte “Community Photo Collections”) zur Rekonstruktion mittels Verfahren der Computer Vision und der Computergraphik verwendet werden können. Community Photo Collections stellen eine große Herausforderung dar, da die darin enthaltenen Bilder mit unterschiedlichen Kameras, zu unterschiedlichen Zeiten, mit wechselnden Beleuchtungs- und Wetterbedingungen unter unkontrollierten Blickwinkeln aufgenommen wurden und das Hauptmotiv durch bewegliche Objekte (z.B. Touristen, Autos) verdeckt sein kann. Ein weiteres Ziel des Projekts war es, Rekonstruktionsverfahren zu entwickeln, die mit möglichst allgemeinen Eingabedaten und damit nicht nur (wie klassischerweise angenommen) mit unter Laborbedingungen aufgenommenen Bildern funktionieren. Zu den größten Erfolgen des Projekts gehören die detaillierte Analyse der Multi-Skaleneigenschaften der Geometrierekonstruktion mittels eines Multi-View Stereo-Verfahrens sowie die Entwicklung mehrere skalensensitiver Oberflächenextraktionsverfahren. Insbesondere das 2014 publizierte “Floating Scale Surface Reconstruction”-Verfahren ist ein nahezu parameterfreies Verfahren, das es ermöglicht, eine qualitativ hochwertige Oberfläche aus skalenbehafteten, orientierten Oberflächenpunkten zu extrahieren. Das Einbeziehen der Skala, d.h. der Größe des durch einen Oberflächenpunkt repräsentierten Bereiches auf einem Objekt, hat sich hierbei als Schlüssel zur Generalisierung der Verfahren erwiesen. Ein weiterer wesentlicher Erfolg ist die Entwicklung eines der ersten photometrischen Stereo-Verfahrens zur Rekonstruktion der Oberflächenorientierung und der Reflektionseigenschaften einer Szene aus Bildern einer Webcam. Das 2012 publizierte Verfahren führt zunachst eine Kalibrierung der einzelnen Bilder durch. Danach werden iterativ die Ausrichtung der Oberfläche, die Beleuchtungseigenschaften in den Eingabebildern sowie die Reflektionseigenschaften der Szene optimiert. Die im Rahmen des Projektes geförderten Forschungsarbeiten tragen wesentlich zu der an meinem Fachgebiet entwickelten Rekonstruktionspipeline “Multi-View Environment” (MVE) bei, die unter Open Source-Lizenz verfügbar ist (http://www.gcc.tu-darmstadt.de/home/proj/mve/).

Publications

• Relighting objects from image collections. In Proceedings of the IEEE Computer Vision and Pattern Recognition Conference (CVPR), 2009
  Tom Haber, Christian Fuchs, Philippe Bekaert, Hans-Peter Seidel, Michael Goesele, and Hendrik P.A. Lensch
  
• Ambient point clouds for view interpolation. In ACM Transactions on Graphics (Proceedings of ACM SIGGRAPH 2010), 2010
  Michael Goesele, Jens Ackermann, Simon Fuhrmann, Carsten Haubold, Ronny Klowsky, Drew Steedly, and Richard Szeliski
  
• Removing the example from example-based photometric stereo. In Proceedings of the ECCV Workshop on Reconstruction and Modeling of Large-Scale Environments 2010, Springer LNCS 6554, pages 197–210, 2012
  Jens Ackermann, Martin Ritz, Andre Stork, and Michael Goesele
  
• Fusion of depth maps with multiple scales. ACM Transactions on Graphics (Proceedings of ACM SIGGRAPH Asia 2011), 2011
  Simon Fuhrmann and Michael Goesele
  
• Hierarchical surface reconstruction from multi-resolution point samples. In Real-World Scene Analysis 2011, Springer LNCS 7474, pages 398–418, 2012
  Ronny Klowsky, Patrick Muecke, and Michael Goesele
  
• Consensus multi-view photometric stereo. In Proceedings of DAGM-OAGM 2012, 2012
  Mate Beljan, Jens Ackermann, and Michael Goesele
  
• Modulation transfer function of patchbased stereo systems. In Proceedings of CVPR 2012, 2012
  Ronny Klowsky, Arjan Kuijper, and Michael Goesele
  
• Photometric stereo for outdoor webcams. In Proceedings of CVPR 2012, 2012
  Jens Ackermann, Fabian Langguth, Simon Fuhrmann, and Michael Goesele
  
• Floating scale surface reconstruction. ACM Transactions on Graphics (Proceedings of ACM SIGGRAPH 2014), 2014
  Simon Fuhrmann and Michael Goesele
  
• Multi-view photometric stereo by example. In Proceedings of the International Conference on 3D Vision (3DV 2014), 2014
  Jens Ackermann, Fabian Langguth, Simon Fuhrmann, Arjan Kuijper, and Michael Goesele