Ergänzung fehlender Informationen bei der Erstellung von 3D-Modellen durch Inferenz in einem Markov-Zufallsfeld

• Applicant: Professor Dr.-Ing. Wolfgang Straßer (†)
• Subject Area: Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
• Term: from 2005 to 2009
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 18693830

• Final Report Year: 2009

Final Report Abstract

Im vorliegenden Projekt wurden Techniken zur Datenfusion von Farb- und Tiefenwerten erforscht. Dabei wurden direkt im Sensorraum die Ergänzung fehlender Informationen sowie das Problem der Rauschunterdrückung beu trachtet. Ein ursprünglich aus der Bildverarbeitung stammendes Verfahren (Non-Local-Means) wurde auf die im Vergleich zu natürlichen Bildern unterschiedliche Charakteristik von Tiefendaten hin angepasst. Dieser Ansatz hat sich, verglichen mit der ursprünglich vorgeschlagenen Modellierung mittels eines Markov-Zufallsfeldes, als überlegen herausgestellt. Die stark rauschbehafteten Daten einer Time-Of-Flight-Kamera konnten mit diesem Verfahren sehr gut rekonstruiert werden und es hat sich gezeigt, dass der vorgeschlagene Ansatz auch zur Ergänzung fehlender Informationen geeignet ist. So konnte einerseits eine Steigerung der Auflösung von Tiefendaten unter Verwendung von hochaufgelösten Bildinformationen erreicht werden, andererseits eine Kompensation von Parallaxen-Effekten bei der Integration beider Modalitäten und auch bei der Simulation von Tiefenunschärfe erfolgreich durchgeführt werden. Aufbauend auf den Fusionsergebnissen wurde außerdem die Registrierung mehrerer Aufnahmen bearbeitet und ein signifikanter Fortschritt durch die Verwendung der kombinierten Daten erreicht.

Publications

• Integrating 3D Time-of-Flight Camera Data and High Resolution Images for 3DTV Applications. In Proc. 3DTV CON ’07, 2007
  Benjamin Huhle, Sven Fleck, and Andreas Schilling
  
• On-the-Fly Scene Acquisition with a Handy Multi-Sensor System. Int. J. of Intelligent Systems Technologies and Applications, 5(3/4):255–263, 2008
  Benjamin Huhle, Philipp Jenke, and Wolfgang Straßer
  
• Parallel Non-Local Denoising of Depth Maps. In Proc. International Workshop on Local and Non-Local Approximation in Image Processing (EUSIPCO Satellite Event), 2008.
  Timo Schairer, Benjamin Huhle, Philipp Jenke, and Wolfgang Straßer
  
• Registration of Colored Point Clouds with a Kernel-based Extension to the Normal Distributions Transform. In Proc. IEEE International Conference on Robotics and Automation (ICRA), 2008
  Benjamin Huhle, Martin Magnusson, Wolfgang Straßer, and Achim J. Lilienthal
  
• Robust Non-Local Denoising of Colored Depth Data. In Proc. IEEE CVPR Workshop on Time-of-Flight Based Computer Vision (TOF-CV), 2008
  Benjamin Huhle, Timo Schairer, Philipp Jenke, and Wolfgang Straßer