Dynamisches 3D-Sehen 2D/3D Datenverarbeitung und -fusion auf Basis der PMD-Technologie (2D3DProc)
Final Report Abstract
In der zweiten Förderphase wurden wesentliche Ergebnisse im Bereich der Fehlerkorrektur und der Kalibrierung, sowie in der Tiefenverfeinerung mit impliziter Ausreißerkorrektur erzielt. Im Bereich der Fehlerkorrektur und Kalibrierung wurden drei wesentliche Fortschritte erzielt, welche eine deutliche Verbesserung der PMD-Tiefendaten für nachgelagerte Verarbeitungsprozesse liefern. Einerseits wurde ein alternatives Demodulationsschema basierend auf der Annahme eines Rechteck-Signals entwickelt, welches ohne zusätzlichen Samplingaufwand für die Korrelationsfunktion zwischen dem Referenzsignal der PMD-Kamera und dem reflektierten optischen Signal auskommt. Als Ergebnis konnte ein kombiniertes Demodulationsschema entwickelt werden, welches mit einer minimalen Anzahl von zwei Referenzmessungen ein verbessertes Demodulationsergebnis liefert. Ein zweites, wichtiges Ergebnis ist die Entwicklung eines effizienten Kalibrierschemas für die kombinierte Korrektur des intensitätsabhängigen und des systematischen Fehlers durch Entkopplung beider Effekte. Dadurch konnte die Zahl der notwendigen Referenzmessungen drastisch reduziert werden. Als drittes zentrales Ergebnis ist die Behandlung von Bewegungsartefakten zu nennen, welche sich durch die sequentielle Aufnahme der vier Phasenbilder in der PMD-Kamera ergeben. Hier wurde ein Verfahren entwickelt, welches sowohl laterale, als auch axiale Bewegungen kompensiert. Zur Korrektur der lateralen Bewegung werden Objektpunkte zwischen den Phasenbildern durch optischen Fluss getrackt, was eine zusätzliche Normierung der Phasenbilder erfordert. Die axiale Bewegung wird durch ein Bewegungsmodell auf Basis der gemessenen Entfernungsdaten modelliert. Im Bereich der Tiefenverfeinerung wurde ein echtzeitnahes, GPU-basiertes Verfahren zur lokalen Oberflachenrekonstruktion entwickelt, welches auf einem Ansatz zum Raycasting von Moving-Least-Squares (MLS) Approximationen basiert. Dieser Ansatz erlaubt eine implizite Ausreißer-Unterdrückung. Zur Segmentierung von Tiefenkarten wurde im Gegensatz zu den meisten anderen Verfahren kein k-mean-Clustering, sondern ein hierarchisches Verfahren eingesetzt. Erste Ergebnisse wurden in einem Hand-Tracking-Verfahren eingesetzt. Ein neu entwickeltes Hybrid-Verfahren erzeugt qualitativ sehr hochwertige Ergebnisse, ist allerdings für eine Echtzeitverarbeitung von PMD-Tiefenkarten nicht schnell genug. Die Ergebnisse dieses Teilprojektes werden aktuell in weiterführenden Projekten als Grundlage genutzt. Die wesentliche Stoßrichtung ist hierbei die Online-Fusionierung und Modellrekonstruktion der durch die Arbeiten in diesem Teilprojekt verbesserten, unregistriert erfassten PMD-Tiefendaten in einem Multikamera-Aufbau. Diese Fragestellung wird im Rahmen eines BMWi-Projektes im Kontext von Waschanlagen für Fahrzeuge praxisnah erforscht. Weitere interessante Fragestellungen ergeben sich etwa in der Nutzung von Multikamera Aufbauten für Anwendungen in der Szenenäberwachung, wie sie im DFG Graduiertenkolleg 1564 untersucht werden. Im Bereich der lokalen Oberflachenrekonstruktion mittels MLS sind weitere Verbesserungen zur Reduktion des Contour-Bleedings notwendig.
Publications
- New Insights into the Calibration of TOF Sensors. In IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), Workshop on ToF Camera based Computer Vision (TOF-CV), pages 1–5, 2008
M. Lindner, A. Kolb, and T. Ringbeck
(See online at https://doi.org/10.1109/CVPRW.2008.4563172) - Compensation of Motion Artifacts for Time-of-Flight Cameras. In Proc. Dynamic 3D Imaging, LNCS, pages 16–27. Springer, 2009
M. Lindner and A. Kolb
- Parallel Mesh Clustering. In Proc. Eurographics Symp. on Parallel Graphics and Visualization (EGPGV), pages 33– 40, 2009
I. Chiosa, A. Kolb, N. Cuntz, and M. Lindner
- Time-of-Flight Sensor Calibration for Accurate Range Sensing. Computer Vision and Image Understanding, 114(12):1318 – 1328, 2010
M. Lindner, I. Schiller, A. Kolb, and R. Koch
