Efficient Reconstruction and Rendering of Dynamic, Wide-Range Lightfields

• Applicants: Professor Dr.-Ing. Reinhard Koch; Professor Dr.-Ing. Andreas Kolb
• Subject Area: Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing ; Measurement Systems
• Term: from 2014 to 2020
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 255647877

• Final Report Year: 2020

Final Report Abstract

Die Aufnahme und Repräsentation des kontinuierlichen Lichtfeldes von 3D-Szenen ermöglicht die Wiedergabe der aufgenommenen Szene mit höchster Detailtreue unter frei beweglichen Beobachterpositionen. Während die Erfassung statischer Szenen schon seit 20 Jahren intensiv erforscht wird, ist die Untersuchung dynamischer Lichtfelder ein vergleichsweise junges Forschungsfeld. Ziel dieses ursprünglich auf sechs Jahre bzw. zwei Förderperioden angesetzten Forschungsprojekts war die effiziente Erfassung, Repräsentation und Wiedergabe der zugrundeliegenden plenoptischen Funktion mittels lokaler Modellannahmen aus grob abgetasteten räumlich-zeitlich Schnitten des dynamischen Lichtfelds, die mit einem vertikal verfahrbaren, horizontalen Kamera-Rig aufgenommen werden. Wichtige wissenschaftliche Ergebnisse wurden in der ersten Projektphase in den folgenden Feldern erzielt: Kalibrierung des Kamera-Rig inkl. Evaluation. In diesem Themenfeld wurden neue Kalibrierungsmethoden entwickelt, die sich insbesondere für Lichtfeldaufbauten mit großer Disparität und nur partieller Sichtfeldüberlappung der Kameras, sowie unter Einbeziehung weitwinkliger Tiefenkameras eignen. Zur Evaluation der Robustheit der neuen Methode wurde eine Kamerasimulation zur Synthese realistischer Ground Truth-Daten entwickelt. Simulation von Kameras für Ground Truth Daten. Für die Evaluierung der Kalibrierung und nachfolgender Verarbeitungsschritte der Lichtfelddaten wurde ein Raytracing-basiertes Simulationsmodell entwickelt, welches Abbildungsfehler durch Defokussierung, Vignetting und geometrische Verzerrungen berücksichtigt und zudem eine genaue Simulation der Optik einer RGB-Kamera inkl. der zusätzlichen optischen Komponente des Mikrolinsenarrays ermöglicht. Rekonstruktion von dicht besetzten Lichtfeldern. In diesem Zusammenhang wurden verschiedene neue Verfahren basierend auf Deep Learning entwickelt. Dies umfasst einerseits Verfahren die ein effizientes Lernen der direkten Interpolation von Bildern benachbarter Kameras ermöglichen. Andererseits wurde eine Methode zur generischen Rekonstruktion dichter Lichtfelder aus dünn besetzten Daten entwickelt, die nicht auf eine konkrete Akquisitionsgeometrie hin optimiert ist, sondern die ohne bzw. mit minimalem zusätzlichen Lernaufwand neue Sampling-Konfigurationen als Inputdaten verarbeiten kann. Akkurate Echtzeit-Schätzung stückweise rigider Bewegungen. Zur bildbasierten Schätzung des Scene Flows wurde ein neues Optimierungsverfahren vorgestellt, welches die 6D- Pose einzelner Oberflächenpunkte durch L0 -Regularisierung eine implizite Segmentierung der Bewegungsdaten in Regionen mit konsistenten Bewegungsdaten ermöglicht, die für sich betrachtet eine rigide Bewegung vollziehen. Aktuelle Arbeiten, die bis zum Abschluss noch laufender Promotionsverfahren durchgeführt werden, befassen sich mit der Rekonstruktion von kompletten, stückweise rigiden dynamischen Szenen, auf Basis der zuvor genannten bildbasierten Echtzeit-Schätzung stückweise rigider Bewegungen. Das Projekt wird trotz der sehr vielversprechenden Ergebnisse nach der ersten Förderphase beendet, da die aktuell im Kontext der Lichtfelder erforschten Verfahren auf generischere Lichtfelddaten ausgerichtet sind und damit spezifisch auf das gegebene Akquisitionssystem hin ausgerichtete Lichtfeld-Methoden nach Einschätzung der Projektleiter zu inflexibel und nicht breit genug einsetzbar sind.

Publications

• A novel self-calibration method for a stereo-tof system using a Kinect V2 and two 4K GoPro cameras. In Proc. Int. Conf. 3D Vision (3DV), pages 21–28. IEEE, 2017
  Y. Gao, S. Esquivel, R. Koch, and J. Keinert
  
• Parallax view generation for static scenes using parallaxinterpolation adaptive separable convolution. In Proc. IEEE Int. Conf. Multimedia & Expo Workshops (ICMEW), pages 1–4. IEEE, 2018
  Y. Gao and R. Koch
  
• Simulation of plenoptic cameras. In Proc. 3DTV-Conference: The True Vision-Capture, Transmission and Display of 3D Video (3DTV-CON), pages 1–4. IEEE, 2018
  T. Michels, A. Petersen, L. Palmieri, and R. Koch
  
• State of the art on 3D reconstruction with RGB-D cameras. Computer Graphics Forum (Eurographics STAR), 37(2):625–652, 2018
  M. Zollhöfer, P. Stotko, A. Görlitz, C. Theobalt, M. Nießner, R. Klein, and A. Kolb
  
• Creating realistic ground truth data for the evaluation of calibration methods for plenoptic and conventional cameras. In Proc. Int. Conf. 3D Vision (3DV), pages 434–442. IEEE, 2019
  T. Michels, A. Petersen, and R. Koch
  
• IEST: interpolation-enhanced shearlet transform for light field reconstruction using adaptive separable convolution. In Proc. European Signal Processing Conference (EUSIPCO), pages 1–5. IEEE, 2019
  Y. Gao, R. Koch, R. Bregovic, and A. Gotchev
  
• Light field reconstruction using shearlet transform in tensorflow. In Proc. IEEE Int. Conf. Multimedia & Expo Workshops (ICMEW), pages 612–612. IEEE, 2019
  Y. Gao, R. Koch, R. Bregovic, and A. Gotchev
  
• Piecewise rigid scene flow with implicit motion segmentation. In Proc. Int. Conf. Intell. Robots and Systems (IROS), 2019
  A. Görlitz, J. Geiping, and A. Kolb
  
• Generative models for generic light field reconstruction
  P. Chandramouli, K. V. Gandikota, A. Görlitz, M. Moeller, and A. Kolb