Semantische Segmentierung von Laserscanningpunktwolken zur digitalen Bauwerks-modellierung mittels Bayesschen Neuronalen Netzen zur Unsicherheitsquantifizierung (PointSemSeg+)

• Antragsteller: Professor Dr.-Ing. Jörg Blankenbach
• Fachliche Zuordnung: Geodäsie, Photogrammetrie, Fernerkundung, Geoinformatik, Kartographie ; Konstruktiver Ingenieurbau, Bauinformatik und Baubetrieb
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 501834640

Die automatische Ableitung von semantikreichen digitalen Bauwerksbestandsmodellen aus 3D-Punktwolken (Scan to BIM) folgt einem mehrstufigen Prozess mit aufeinander aufbauenden Teilschritten (Datenerfassung, Datenvorverarbeitung, semantische Segmentierung, Geometrieableitung und Bauteilbildung).Der Fortschritt im Bereich des maschinellen Lernens (ML) und insbesondere tiefer Neuronaler Netze (Deep Learning, DL) eröffnet neue Potentiale, um den Scan-to-BIM-Prozess stärker zu automatisieren und zeitaufwändige manuelle Arbeitsschritte abzulösen. Eine zentrale Herausforderung und bislang ungelöstes Problem stellt dabei jedoch die Unsicherheitsquantifizierung des Ergebnisses, insbesondere der semantischen Segmentierung als zentraler Prozessschritt dar. Bestehende ML/DL-Ansätze sind nicht in der Lage, die Qualität der semantischen Punktwolkensegmentierung zu quantifizieren. Der Grund dafür sind objekt- und anwendungsfallspezifische Variationen, beispielsweise verursacht durch (zufällige) Messabweichungen, aus Verdeckungen oder unzugängliche Bereichen resultierende Lücken, Abweichungen aufgrund ungünstiger Aufnahmebedingungen, extrinsischer Störeinflüsse oder einwirkende Umwelteffekte. Das Ergebnisse ist daher eine unvollständige oder in Teilen fehlerhafte segmentiere und klassifizierte Punktwolke, die zwangsläufig auch die nachgelagerte automatisierte Modellerzeugung beeinflussen würde. Insbesondere für die Ableitung von digitalen Zwillingen für Ingenieuranwendungen (z.B. SHM, AM) ist jedoch die Kenntnis der Qualität bzw. Unschärfe des zugrundeliegenden digitalen Modells von immenser Bedeutung, so dass die automatische semantische Segmentierung heute vor dem Geometrieableitung zwingend von einem menschlichen Operateur geprüft und manuell nachbearbeitet werden muss. Im vorliegenden Vorhaben sollen daher Untersuchungen zur Unsicherheit der semantischen Punktwolkensegmentierung mit neuartigen Ansätzen aus dem Bereich des Deep Learnings durchgeführt werden. Dazu soll auf Eingangsdatenebene untersucht werden, ob die Unsicherheit der semantischen Segmentierung durch ergänzende Merkmalsinformationen verringert und auf Modellebene durch den Einsatz Bayesscher Neuronaler Netze (BNN) quantifiziert werden kann. Dazu werden 3D-Punktwolken mit geodätischen Laserscannern – auch gestützt auf unbemannten Flugsystemen (UAV) – erzeugt, die neben der 3D-Punktinformation weitere ergänzende radiometrische Informationen beinhalten.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2388: Hundert plus - Verlängerung der Lebensdauer komplexer Baustrukturen durch intelligente Digitalisierung