Effiziente Rekonstruktion und Darstellung großflächiger dynamischer Lichtfelder

• Antragsteller: Professor Dr.-Ing. Reinhard Koch; Professor Dr.-Ing. Andreas Kolb
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Messsysteme
• Förderung: Förderung von 2014 bis 2020
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 255647877

Ein zentrales Forschungsthema in Computergraphik und Computer Vision ist Image based Rendering (IBR), bei dem die Bildsynthese auf einer Menge zuvor akquirierter Bilddaten (Abtastwerte des Lichtfeldes) basiert. Je nach Ansatz werden neben reinen Bilddaten auch Tiefendaten für die effiziente Bildinterpolation verwendet. Bisherige Forschungsarbeiten für IBR setzen entweder statische Szenen oder technisch aufwändige 2D-Kamerafelder voraus, oder verwenden stark einschränkende Modellannahmen hinsichtlich der in der Szene befindlichen Objekte, wie z.B. Modelle für menschliche Charaktere, welche in der Regel eine globalen Optimierung erfordern. Zudem werden oft einschränkende Annahmen an die Beleuchtungssituation und an die Reflektanz der Objektoberflächen gemacht.Das hier beantragte Forschungsprojekt untersucht Ansätze zur großflächigen Akquisition, zur dynamischen Repräsentation und zur effizienten Darstellung von zeitlich veränderlichen, geometriegestützten Lichtfeldern von Szenen unter Berücksichtigung der Reflektanz und der Beleuchtungssitution. Da in realen Szenen eine ausreichende raum-zeitliche Koherenz vorausgesetzt werden kann, werden die Lichtfelddaten nicht vollständig dicht erfasst, sondern es werden nur Raum-Zeit-Schnitte akquiriert. Hierbei wird das zeitabhängige Lichtfeld durch ein in 2D verfahrbares, lineares Multi-Kamera-Rig mit 25 Kameras auf einer Breite von insgesamt 2.5m und 30 Bildern/s abgetastet. Aus den unterschiedlichen Sichtrichtungen des Rigs auf einen Szenenpunkt kann dessen Reflektanz über die Zeit analysiert werden. Zudem werden durch mehrere Tiefenkameras (ToF/Kinect) Schätzwerte der Szenengeometrie zur Verfügung gestellt.Die zentrale Hypothese des Antrags ist, dass die dünnbesetzte Erfassung dynamischer Lichtfelddaten in Form von raum-zeitlichen Schnitten für eine schnelle und hochqualitative Lichtfeldrekonstruktion hinreichend ist. Diese Form der Akquisition erweitert das Spektrum der Einsatzszenarien dynamischer Lichtfelder beispielsweise für die Content-Generierung bei Free-Viewpoint-Television und für autostereoskopische Parallaxendisplays.Zur Erreichung der Projektziele stehen zwei methodische Kernhypothesen im Zentrum des Antrags: Einerseits kommen lokale Optimierungsverfahren zum Einsatz, die eine schnelle, robuste Akkumulation des dichten dynamischen Lichtfeldes bzgl. einer großflächigen Abtastung erlauben. Hierbei wird eine unterstützende Geometrieanalyse der Szene unter Berücksichtigung der Szenenreflektanz und der Beleuchtung verwendet. Andererseits wird eine hybride, bild- und modellbasierte Repräsentation der lokalen Lichtfeldinformationen eine Kompensation sowohl der dünnbesetzten Akquisition, als auch der Dynamik des Lichtfeldes im Objektraum ermöglichen.In allen Bereichen müssen hocheffziente neue Ansätze zur Repräsentation, zur Analyse, zur Akkumulation und zum Rendering entwickelt werden, um die Handhabung dynamischer Lichtfelder in ausreichender Geschwindigkeit zu ermöglichen.

• DFG-Verfahren: Sachbeihilfen