Analysis and Coding of Multi-Video Image Data for Interactive Rendering of Dynamic Scenes

• Applicant: Professor Dr.-Ing. Marcus Magnor
• Subject Area: Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
• Term: from 2003 to 2013
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 5402679

• Final Report Year: 2013

Final Report Abstract

Ziel des Projektes war es, ein videobasiertes Renderingsystem zu entwickeln, welches den Benutzer in die Lage versetzt, seinen Blickpunkt sowohl räumlich als auch zeitlich verändern zu können. Als Eingabe dienen dazu lediglich Aufnahmen nicht-synchroner, unkalibrierter Videokameras. Da das gesamte System ohne 3D Rekonstruktion rein bildbasiert arbeiten soll, mussten verschiedene Bildkorrespondenz- und Interpolationsalgorithmen entwickelt und auf Multi-View Datensätze erweitert werden. Dabei lag ein besonderes Augenmerk auf der robusten Korrespondenzschätzung auch mit Ausnutzung von Verdeckungsinformation und wahrnehmungspsychologisch überzeugender Darstellung in Echtzeit. Die in diesem Projekt entwickelte Arbeiten haben sich zu einem vollausgereiften Multi-View Renderingsystem zusammengefügt, welches auch bereits im praktischen Einsatz für komplexe Projekte erfolgreich eingesetzt wurde. Die im Laufe des Projektes entwickelten Korrespondenzschätzungsalgorithmen zeigen ihre Stärken im Vergleich zu bisherigen Arbeiten insbesondere durch ihre robusten Ergebnisse auf sogenannten Longrange Datensätzen, d.h. Datensätze bei denen besonders große Disparitäten zwischen den Bildern auftreten. Dies ist für die meisten Korrespondenzalgorithmen auch weiterhin ein großes Problem, das es zu lösen gilt. Für die Qualität der Darstellung war dabei insbesondere eine zuverlässige Handhabung der dabei entstehenden Verdeckungs- und Entdeckungsinformationen wichtig. Durch Ausnutzung von Raum-Zeit-Schleifen sowie neu entwickelten Multi-View Inpainting Algorithmen für die Bewegungsfelder, konnte die Robustheit des Korrespondenz- und Renderingsystem zusätzlich erhöht werden. Für die industrielle Nutzung ist es von äusserster Wichtigkeit, dass die verwendeten Algorithmen nicht nur in den meisten Fällen, sondern immer funktionieren. In Abhängigkeit der Szenenkomplexität ist dies natürlich ein utopisches Wunschdenken und erfordert noch Jahre weiterer Forschung. Aus diesem Grunde wurden zusätzlich verschiedene manuelle Unterstützungstechniken entwickelt, welche es erlauben die Korrespondenzen zwischen den Bildern intuitiv und mit minimalem Aufwand zu korrigieren. In der Filmindustrie ist man dazu übergegangen, zumeist das Endergebnis, also die Bilder selbst, bei der die Kamerafahrt durch den Navigationsraum bereits feststeht, zu korrigieren. Dies hat jedoch entscheidende Nachteile zu unserem System. Dadurch dass die Korrespondenzen korrigiert werden, statt des endgültigem Ausgabevideos, können auch nachträgliche Änderungen an der Kamerafahrt vorgenommen werden und der manuell durchzuführende Aufwand sinkt drastisch, da die entwickelten Korrekturwerkzeuge lediglich grobe Korrespondenzen benötigen und selbstkorrigierend das Ergebnis verbessern.

Publications

• High Resolution Image Correspondences for Video Post-Production. In: Proc. European Conference on Visual Media Production (CVMP) 2010, Bd. 7, IEEE Computer Society, 2010, S. 33-39
  Lipski, Christian ; Linz, Christian ; Neumann, Thomas ; Wacker, Markus ; Magnor, Marcus
  
• Space-Time Visual Effects as a Post-Production Process. In: ACM Multimedia 2010 Workshop - 1st International Workshop on 3D Video Processing (3DVP) 2010, Bd. 1, 2010, S. 1-6
  Linz, Christian ; Lipski, Christian ; Rogge, Lorenz ; Theobalt, Christian ; Magnor, Marcus
  
• Virtual Video Camera: Image-Based Viewpoint Navigation Through Space and Time. In: Computer Graphics Forum 29 (2010), Nr. 8, S. 2555-2568
  Lipski, Christian ; Linz, Christian ; Berger, Kai ; Sellent, Anita ; Magnor, Marcus
  
• Flowlab - an interactive tool for editing dense image correspondences. In: Proc. European Conference on Visual Media Production (CVMP) 2011, 2011, S. 1-8
  Klose, Felix ; Ruhl, Kai ; Lipski, Christian ; Magnor, Marcus
  
• Perception-motivated interpolation of image sequences. In: ACM Transactions on Applied Perception (TAP) 8 (2011), Nr. 2, S. 1-25
  Stich, Timo ; Linz, Christian ; Wallraven, Christian ; Cunningham, Douglas ; Magnor, Marcus
  
• A Loop-Consistency Measure for Dense Correspondences in Multi-View Video. In : Journal of Image and Vision Computing (2012), Bd. 30, Nr. 9, S. 641-654
  Sellent, Anita ; Ruhl, Kai ; Magnor, Marcus