Analysis and Coding of Multi-Video Image Data for Interactive Rendering of Dynamic Scenes

• Applicant: Professor Dr.-Ing. Marcus Magnor
• Subject Area: Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
• Term: from 2003 to 2013
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 5402679

Ziel des beantragten Forschungsvorhabens ist die Entwicklung von Verfahren zur Analyse, Codierung und Darstellung von Multivideo-Bilddatensätzen. Diese neue Datenmodalität wird bei der gleichzeitigen Aufnahme einer bewegten Szene aus verschiedenen Blickrichtungen mit Hilfe mehrerer synchronisierter Videokameras aufgezeichnet. Anhand dieser Multivideo-Bilddatensätze können anschließend neue Ansichten der Szene aus beliebiger Perspektive errechnet werden. Anwendungen für diese neue Technik finden sich in der Sicherheits- und der Unterhaltungsbranche: ein video-überwachter Bereich kann bedienungsfreundlich interaktiv observiert werden (virtueller Wachrundgang am Bildschirm), und ein interaktives Fernsehsystem ermöglicht dem Zuschauer, seine Blickposition und -richtung in der Szene frei zu wählen. Im Rahmen des beantragten Forschungsvorhabens sollen Algorithmen zu Verarbeitung von Multivideo-Bilddaten entwickelt werden. Zunächst wird ein Verfahren zur raum-zeitlichen Analyse konzipiert, das ein dynamisches Geometriemodell des Szenenablaufs rekonstruiert. Die analysierte Szenenstruktur wir anschließend von einem neu zu entwickelnden, an die Multivideo-Datenstruktur und ihre Anwendungen angepaßten Codierverfahren dazu verwandt, die Ähnlichkeiten zwischen den Videobildströmen sowie die zeitliche Kohärenz des kontinuierlichen Szenenablaufs auszunutzen, um die Multivideo-Bilddaten effizient zu codieren. Zur interaktiven Betrachtung der Szene aus beliebiger Blickrichtung wird schließlich ein Renderingverfahren erarbeitet, das den dynamische Szenenablauf mit Hilfe eines PCs und einer handelsüblichen Grafikkarte in Echt zeit darstellen kann.

• DFG Programme: Research Grants