Computational Transient Imaging: Instrumentation, Image Formation Models, Inverse Methods, and Applications
Final Report Abstract
Dieses Projekt befasste sich mit bildgebenden opto-elektronischen Verfahren, die die Laufzeit des Lichts mit erfassen. Mit dieser zusätzlichen Informationsquelle eröffnen sich neue Möglichkeiten zur Lösung altbekannter wie völlig neuer technischer Probleme. Insbesondere können zeitaufgelöste optische Impulsantworten („transiente Bilder“) genutzt werden, um Objekte jenseits des direkten Sichtfelds zu rekonstruieren, also gewissermaßen um die Ecke zu sehen. Die Ergebnisse des Projekts erstrecken sich von Grundlagen der Sensorik über die Signalverarbeitung bis hin zu praktischen Demonstratoren. Unter anderem ist es uns gelungen, die Erfassung und Verarbeitung optoelektronischer Korrelationsmessungen durch neue mathematische Modelle und Verfahren drastisch zu beschleunigen, wodurch erstmals transiente Bilder dynamischer Szenen erfasst und analysiert werden konnten. Mittels der von uns entwickelten Hardwareplattform konnten wir die zeitliche Dimension der Lichtausbreitung nutzen, um verschiedene Materialien anhand eines einzelnen Sensorpixels voneinander zu unterscheiden. Auch neue Bildgebungsverfahren wie die Doppler-Bildgebung und Single-Shot-Differenzbildgebung konnten wir als unterschiedliche Betriebsmodi derselben Hardware demonstrieren. Ein zentrales Ziel des Projekts war die Analyse von multipfad-gestreuten Lichtreflexen zur Rekonstruktion von Objekten außerhalb des direkten Blickfelds oder Non-Line-of-Sight- Rekonstruktion (NLoS). Hier konnten wir zahlreiche wichtige Ergebnisse erzielen. Zunächst gelang uns der Nachweis, dass die Detektion und Ortung rigider Objekte auch ohne Laufzeitmessungen möglich ist, und zwar mit erstaunlicher Genauigkeit und selbst bei Tageslicht. Das dem Verfahren zu Grunde liegende Prinzip basiert auf der wiederholten Auswertung eines effizienten „Vorwärtsmodells“ (Simulation der Lichtausbreitung), die mit den experimentellen Messdaten abgeglichen wird. Durch Erweiterung der Vorwärtssimulation um optische Laufzeiten konnten wir zum ersten Mal ein NLoS-Rekonstruktionsverfahren implementieren, das zwar rechenaufwändig ist, aber dessen Lösungen per Definition optimal konsistent mit einem physikalisch fundierten Modell der Lichtausbreitung sind. Das gleiche Simulationsverfahren konnten wir daraufhin als Baustein nutzen, um das erste maschinelle Lernverfahren zur NLoS-Geometrieschätzung zu entwickeln. Mit Training auf rein synthetischen Daten liefert dieses gute Rekonstruktionen realweltlich gemessener Datensätze, und zwar schneller als die meisten Konkurrenzverfahren. Die hier zum Einsatz kommenden Ansätze eignen sich nicht nur zur NLoS-Rekonstruktion mit transienten Eingabedaten, sondern auch zur Lösung vollkommen anders gearteter Probleme. So gelang es uns, ebenfalls mit detaillierter physikalischer Modellierung vollständig kalibrierte 4D-Lichtfelder aus einem einzigen durch ein mit Wassertropfen benetztes Fenster aufgenommenen 2D-Bild zu rekonstruieren. Gegenüber den sonst erforderlichen Spezialoptiken, robotischen Abtastverfahren oder Kamera-Arrays stellt dies eine erhebliche Vereinfachung dar.
Publications
- “Solving trigonometric moment problems for fast transient imaging,” ACM Trans. Graph. 34(6) (Proc. SIGGRAPH Asia), 2015
C. Peters, J. Klein, M. Hullin, R. Klein
(See online at https://doi.org/10.1145/2816795.2818103) - “Tracking objects outside the line of sight using 2D intensity images,” Scientific Reports, vol. 6, 32491, 2016
J. Klein, C. Peters, J. Martín, M. Laurenzis, M. B. Hullin
(See online at https://doi.org/10.1038/srep32491) - “4D imaging through spray-on optics.” ACM Transactions on Graphics 36(4) (Proc. SIGGRAPH), 2017
J. Iseringhausen, B. Goldlücke, N. Pesheva, S. Iliev, A. Wender, M. Fuchs, M. B. Hullin
(See online at https://doi.org/10.1145/3072959.3073589) - “Snapshot difference imaging using correlation-based time-of-flight sensors,” ACM Trans. Graph. (Proc. SIGGRAPH Asia) 36(6), 2017
C. Callenberg, F. Heide, G. Wetzstein, M. B. Hullin
(See online at https://doi.org/10.1145/3130800.3130885) - “Trigonometric moments for editable structured light range finding,” Proc. Vision, Modeling and Visualization, 2019
S. Werner, J. Iseringhausen, C. Callenberg, M. B. Hullin
(See online at https://doi.org/10.2312/vmv.20191315) - “Non-line-of-sight reconstruction using efficient transient rendering.” ACM Trans. Graph
J. Iseringhausen and M. B. Hullin
(See online at https://doi.org/10.1145/3368314)
