AI-based Fusion of Multi-Modal Data for Automated Generation of Semantically Rich Digital Twins of Reinforced Concrete Single and Multi-Span Slab Bridge

• Applicants: Professor Dr.-Ing. André Borrmann; Dr. Stavros Nousias
• Subject Area: Structural Engineering, Building Informatics and Construction Operation
• Term: since 2026
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 582094862

Trotz bedeutender Fortschritte bei der digitalen Modellierung von Infrastruktur weisen die aktuellen Ansätze zur Erstellung von Building Information Models (BIM) und digitalen Zwillingen von Bestandsbrücken mehrere kritische Einschränkungen auf. Die verfügbaren Methoden stützen sich überwiegend auf Punktwolkendaten und leiden unter inhärenten Einschränkungen, darunter die Notwendigkeit einer präzisen Parameterkalibrierung und manueller Eingriffe in der Verarbeitungsphase. Darüber hinaus wird bei diesen Ansätzen oft das wertvolle Potenzial ergänzender Datenquellen übersehen, die die Genauigkeit und Vollständigkeit von Modellen erheblich verbessern können. Das Fehlen eines integrierten algorithmischen Frameworks, das mehrere Datenmodalitäten zusammenführen kann, stellt eine erhebliche Lücke in diesem Bereich dar. Diese Einschränkung wirkt sich nicht nur auf die Effizienz von Brückendigitalisierungsprozessen aus, sondern beeinträchtigt auch die Genauigkeit und Vollständigkeit der resultierenden digitalen Modelle. Das Projekt zielt daher auf die Umsetzung eines umfassenden, automatisierten Ansatzes ab, der verschiedene Datenquellen nahtlos einbeziehen und gleichzeitig manuelle Eingriffe minimieren kann und konzentriert sich hierfür auf die Entwicklung von multimodalen KI-Methoden, die es ermöglichen, Fotos, Punktwolken, technische Zeichnungen und Textbeschreibungen von Brücken integriert zu verarbeiten. Ziel dieses Projekts ist eine automatisierte, robuste und hochgradig anpassungsfähige KI-basierte Methode zur Erstellung parametrischer Brückenmodelle unter Nutzung mehrerer Modalitäten, nämlich Punktwolken, Bilddaten, technische Zeichnungen und Textbeschreibungen. Das angestrebte Ergebnis sind Brückenmodelle in Level of Development (LOD) 200 bis 300, da diese für Inspektions-, Zustandsbewertungs- und Instandhaltungsplanungszwecke ausreichend sind. Die spezifischen Ziele des Projekts sind: a. Weiterentwicklung von Transformers für die semantische Segmentierung von Punktwolken und Identifizierung von Einbettungsmechanismen, die für multimodale latente Repräsentationen geeignet sind b. Untersuchung von Deep-Learning-Techniken für die Erstellung von BIM-Modellen aus technischen Zeichnungen bestehender Brücken, um Einbettungsmechanismen zu identifizieren, die für multimodale latente Repräsentationen geeignet sind c. Untersuchung und Weiterentwicklung multimodaler Fundamentalmodelle im spezifischen Bereich parametrischer Brückenmodelle d. Entwicklung einer neuartigen Methode zur direkten Generierung parametrischer Modelle aus multimodalen Eingaben, die für mehrere Brückentypologien verallgemeinert werden e. Evaluierung und Training der entwickelten maschinellen Lernmodelle mit realen Trainingsdaten Die Methoden werden mit dem Schwerpunkt auf Standard-Stahlbetonbrücken entwickelt, die in Deutschland weit verbreitet sind. Insbesondere werden die Platten- und Rahmenbrücken berücksichtigt.

• DFG Programme: Research Grants