Automated hazard detection for safe airport apron operations using a (weather-)robust LiDAR object recognition system
Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
Final Report Abstract
Das DFG-Projekt untersucht LiDAR Sensorik zusammen mit Computer Vision Algorithmen für die Semantische Segmentierung zur Unterstützung des Vorfeldlotsen bei der bisher ausschließlich kognitiv erbrachten Erkennung von potenziellen Gefahrensituationen auf Vorfeldern von Flugplätzen. Das Trainieren von Algorithmen zur automatisierten Interpretation von visuellen Informationen bedarf großer annotierter Datensätze. Derzeit existieren keine derartigen Datensätze für den speziellen Kontext des Flughafenumfeldes. Aus diesem Grund wurde innerhalb des Projektes eine virtuelle Flughafenumgebung mit integriertem Sensormodell entwickelt. So können beliebige Vorfeldszenen und korrespondierende LiDAR Daten simuliert und infolge automatisiert annotiert werden. Um die Robustheit der Erkennung auch bei ungünstigen Wetterbedingungen zu erhöhen, wurde wetterbedingtes Rauschen mithilfe realer, am Flughafen Dresden erfasster Punktwolken modelliert und in die Simulationsumgebung integriert. Die simulierten Daten dienen als Input für das Anlernen eines echtzeitfähigen LiDAR-Segmentierungsmodells. Darüber hinaus wurde ein adaptives Punktsampleverfahren für das Tracking von Luftfahrzeugen in spärlichen Punktwolken entwickelt und dessen Genauigkeit validiert. Weiterhin wurden typische Unfallpattern basierend auf einer umfangreichen Unfalluntersuchung modelliert. Die Parameter für eine auf Bewegungsprognosen basierende Gefahrenvorhersagefunktion wurden mittels überwachtem Lernen trainiert, sodass sicherheitsrelevante Vorkommnisse (Unfälle und Vorfälle) antizipiert und gleichzeitig die Anzahl der Fehlalarme in normalen Szenarien minimiert wurde. Abschließend wurde in einer simulationsbasierten Untersuchung die potenziell risikomindernde Wirkung eines LiDAR-basierten Überwachungssystems auf dem Flughafen Dresden International demonstriert. Dabei wurde gezeigt, dass abnormale Szenarien des Testdatensatzes korrekt klassifiziert wurden. Das System war in der Lage, bis zu 12 Sekunden vor einem kritischen Ereignis eine Warnung zu generieren. Die zur Verfügung stehende Reaktionszeit (engl. Reaction Time Available, RTA) als Differenz aus Vorwarnzeit und notwendiger Bremszeit diente zur Bewertung des Systems, wobei RTA>0 s als Erfolg klassifiziert wurde. Daraus ergab sich eine True Positive Rate (TPR) für Bodenkollisionen (CICTT Klasse GCOL) von 0.8 und eine TPR für Konflikte in Folge der Nichtbeachtung von Vorfahrtsregeln auf der Flugbetriebsfläche des Flughafens (Klasse RI) von 0.97. Im Rahmen des Projektes wurden somit Grundlagen und Techniken zur automatischen Interpretation komplexer dynamischer Vorfeldszenen mittels LiDAR-Daten unter ungünstigen Wetterlagen geschaffen, die nunmehr auch Objektinteraktionen analysieren können.
Publications
- ‘Performance Analysis of a LiDAR System for Comprehensive Airport Ground Surveillance under Varying Weather and Lighting Conditions’, International Conference on Research in Air Transportation (ICRAT), 2018
J. Mund, A. Zouhar, and H. Fricke
- ‘Validating LiDAR sensor surveillance technology versus conventional out-the-window view for safety critical airport operations’, 9th SESAR Innovation Days, 2019
H. Braßel, A. Zouhar, and H. Fricke
- ‘3D Modeling of the airport environment for fast and accurate LiDAR semantic segmentation of apron operations’, presented at the 39th Digital Avionics Systems Conference, San Antonio, Texas, USA, Oct. 2020
H. Braßel, A. Zouhar, and H. Fricke
(See online at https://doi.org/10.1109/DASC50938.2020.9256495) - ‘Adaptive Point Sampling for LiDAR-based Detection and Tracking of fast-moving Vehicles using a virtual Airport Environment’, 10th SESAR Innovation Days, 2020
H. Braßel, A. Zouhar, and H. Fricke
