PMD-Modeling, -Simulation, -Evaluation & Algorithmics
Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
Final Report Abstract
Entfernungsmessende Time-of-Flight (ToF) Kameras werden seit der Jahrtausendwende entwickelt. Einer der ersten Ansätze wurde an der Universität Siegen von Prof. Dr. Rudolf Schwarte in Form des Photonic Mixing Devices (PMD) vorgestellt und prototypisch realisiert. Das PMD Konzept war Nukleus zur Gründung der pmdtechnologies ag, die heute mit mehr als 100 Mitarbeitern einer der weltweit führenden Hersteller von ToF-Kameras ist. Kerngedanke des Erkenntnistransferprojekts ist die anwendungsorientierte Erforschung und konzeptionelle Integration der Themenfelder Sensormodellierung, Simulation, Evaluation und Algorithmik für ToF Kameras auf Basis der bislang am Lehrstuhl für Computergraphik durchgeführten Grundlagenforschung und den beim Industriepartner pmdtechnologies ag vorliegenden Anforderungen. Hierdurch wird die Weiterentwicklung der relevanten Forschungsergebnisse hin zu kommerziellen Produkten unter Berücksichtigung realer Anwendungsbedingungen vorangetrieben. Zeitgleich werden neue Lösungen zu bislang wenig beachteten Störeffekten von ToF-Kamerasystemen erarbeitet. Im Schwerpunkttthema der Sensormodellierung PMD-basierter ToF-Kameras wurden verschiedene Erweiterungen des physikalisches Lichtausbreitungsmodells realisiert. Dies umfasst sowohl die Modellierung beliebiger Oberflächenstreuung anhand der Bidirectional Reflectance Distribution Function (BRDF), asl auch Mehrfachreflexionen zwischen Objekten in der Szene und bei volumetrischen Streueffekten in semi-transparenten Materialien (subsurface scattering). Darüber hinaus wurde das Optikmodell um komplexere Modelle für Lichtquellen und Linsenmodelle erweitert. Ein wichtiger Aspekt in dem Sensormodell war zudem die Anknüpfung an die elektronische Simulationsebene, wie sie im Pixeldesign verwendet wird. Hierdurch wurde die Modellierung von Pixel-Geometrien auf Kameraebene möglich, was z.B. zur Bewertung alternativer Ansätze zum Chip-Layout erforderlich ist. Im zweiten, zentralen Arbeitsfeld des Projektes, der Sensorsimulation von PMD-basierten ToF Kameras wurden im abgeschlossenen Projekt sehr große Fortschritte gemacht. Auf Basis des Sensormodells wurde die Simulation um alle relevanten Beleuchtungseffekte, insbesondere im Bereich der für ToF Kameras entscheidenden Mehrfachreflexionseffekte, erweitert. Hierbei wurden zwar Einschränkungen des Sensormodells auf eine bzw. wenige Indirektionen bei den Lichtpfaden gemacht, allerdings sind bisherige Ansätze zur umfassenden globalen Simulation der Lichtausbreitungspfade zu rechenaufwändig und erreichen bislang noch keine physikalisch realistischen Ergebnisse. Trotz der Einschränkung ist es gelungen, echtzeitfähige Simulatoren zu entwickeln, die sogar Volumenstreueffekte beinhalten. Im Bereich der Evaluation wurden insbesondere BRDF-Vermessung realer und reproduzierbarer Materialien im Bereich von 850 nm durchgeführt, in dem üblicherweise ToF-Beleuchtungen arbeiten. Damit konnte eine wichtige Lücke in der Evaluation von PMD- Sensoren geschlossen werden. Im Bereich der Algorithmen zur Fehlererkennung und -korrektur wurden bestehende Korrekturverfahren für Mehrfachreflexionen untersucht. Leider konnten die bestehenden Einschränkungen hinsichtlich Stabilität und Rechenaufwand für diese Klasse von Algorithmen nicht nachhaltig verbessert werden, so dass deren praktischer Einsatz weiterhin wenig attraktiv ist. Hinsichtlich der Bewegungsartefakte wurden bestehende Verfahren zur Schätzung des optischen Flusses mit dem Ziel erweitert, deren Abhängigkeit von der Annahme konsistenter Pixelintensitäten zu reduzieren. Da diese Erweiterungen modular mit den Verfahren zur Schätzung des Flusses kombiniert werden können, wurden umfangreiche Tests durchgeführt, um die Leistungsfähigkeit einzelner Kombinationen für die Kompensation von Bewegungsartefakten zu evaluieren.
Publications
- Simulation of time-of-flight sensors for evaluation of chip layout variants. IEEE Sensors Journal, 15(7):4019–4026, July 2015
M. Lambers, S. Hoberg, and A. Kolb
(See online at https://doi.org/10.1109/JSEN.2015.2409816) - Efficient subsurface scattering simulation for time-of-flight sensors. In Proc. Vision, Modeling and Visualization (VMV), July 2018
D. Bulczak and A. Kolb
(See online at https://doi.org/10.2312/vmv.20181259) - Quantified, interactive simulation of AMCW ToF camera including multipath effects. MDPI Sensors, 18(1), 2018
D. Bulczak, M. Lambers, and A. Kolb
(See online at https://doi.org/10.3390/s18010013) - Realistic lens distortion rendering. In Proc. Int. Conf. in Central Europe on Computer Graphics, Visualization and Computer Vision (WSCG), June 2018
M. Lambers, H. Sommerhoff, and A. Kolb
(See online at https://doi.org/10.24132/CSRN.2018.2803.4)
