Laser-based Scene Interpretation in Dynamic Envrionments
Final Report Abstract
Semantisches Szenenverständnis ist von entscheidender Bedeutung für autonome Systeme, welche in natürlichen und dynamischen Umgebungen agieren wollen. Für das autonome Fahren sind hierbei die sich potentiell bewegenden Objekte, wie andere Fahrzeuge, Fahrradfahrer, und Fußgänger, aber auch die befahrbaren Flächen und anderen Objekte von entscheidender Bedeutung, da diese bei der Planung und Ausführung relevant sind. In den letzten Jahren werden neben Bildinformationen immer häufiger auch präzise Entfernungsdaten in Form von dreidimensionalen Punktwolken bzw. Tiefenbildern zur Szenenanalyse eingesetzt. Im Rahmen des Projektes sollte die dichte semantische Szeneninterpretation einer Sequenz von Punktwolken untersucht werden. Zur Verwirklichung der Zielsetzung wurde zuerst ein Verfahren zur globalkonsistenten Kartierung entwickelt, welches in Echtzeit die Position und Orientierung eines Lasersensors nur unter zur Hilfenahme der gemessenen dreidimensionalen Punktwolken ermitteln kann. Die so geschätzten Posen konnten dann genutzt werden, um so Zeitreihen von Punktwolken zu aggregieren. Die überlagerten Punktwolken konnten so effizient punktweise mit aufgabenrelevanten semantischen Klassen annotiert werden. Zudem wurden manuell einzelnen Objektinstanzen bestimmt und zeitlich konsistente Instanzzuordnungen vorgenommen. Resultat ist einer der größten Datensätze, der SemanticKITTI Datensatz, der die Entwicklung und Evaluation von semantischer Segmentierung auf Basis von einzelnen Punktwolken ermöglicht. Aufbauend auf dem Datensatz wurde zuerst ein Verfahren zur semantischen Segmentierung auf Basis einer Projektion der Punktwolke entwickelt, welches zudem Fehler bei der Rückprojektion in die dreidimensionalen Punktwolken korrigieren kann. Neben semantische Segmentierung wurde zudem ein Verfahren zur sogenannten panoptische Segmentierung, um gleichzeitig semantische Segmentierung und Instanzsegmentierung zu erreichen, entwickelt. Letztlich wurde die semantische Kartierung auf Basis der zuvor entwickelten semantischen Segmentierung und Kartierung zur Verbesserung der Posenschätzung mittels semantischer Information umgesetzt.
Publications
- "Efficient Surfel-Based SLAM using 3D Laser Range Data in Urban Environments“. In: Proc. of Robotics: Science and Systems (RSS). 2018
J. Behley und C. Stachniss
(See online at https://doi.org/10.15607/RSS.2018.XIV.016) - RangeNet++: Fast and Accurate LiDAR Semantic Segmentation“. In: Proceedings of the IEEE/RSJ Int. Conf. on Intelligent Robots and Systems (IROS). 2019
A. Milioto, I. Vizzo, J. Behley und C. Stachniss
(See online at https://doi.org/10.1109/IROS40897.2019.8967762) - SemanticKITTI: A Dataset for Semantic Scene Understanding of LiDAR Sequences“. In: Proc. of the IEEE/CVF International Conf. on Computer Vision (ICCV). 2019
J. Behley, M. Garbade, A. Milioto, J. Quenzel, S. Behnke, C. Stachniss und J. Gall
(See online at https://doi.org/10.1109/ICCV.2019.00939) - SuMa++: Efficient LiDAR-based Semantic SLAM“. In: Proc. of the IEEE/RSJ Intl. Conf. on Intelligent Robots and Systems (IROS). 2019
X. Chen, A. Milioto, E. Palazzolo, P. Giguere, J. Behley und C. Stachniss
(See online at https://doi.org/10.1109/IROS40897.2019.8967704) - A Benchmark for LiDAR-based Panoptic Segmentation based on KITTI“. In: arXiv preprint (2020)
J. Behley, A. Milioto und C. Stachniss
- Domain Transfer for Semantic Segmentation of LiDAR Data using Deep Neural Networks“. In: Proc. of the IEEE/RSJ Intl. Conf. on Intelligent Robots and Systems (IROS). 2020
F. Langer, A. Milioto, A. Haag, J. Behley und C. Stachniss
(See online at https://doi.org/10.1109/IROS45743.2020.9341508) - LiDAR Panoptic Segmentation for Autonomous Driving“. In: Proc. of the IEEE/RSJ Intl. Conf. on Intelligent Robots and Systems (IROS). 2020
A. Milioto, J. Behley, C. McCool und C. Stachniss
(See online at https://doi.org/10.1109/IROS45743.2020.9340837)
