Universelle Semantische Kartierung

• Antragsteller: Professor Dr. Andreas Nüchter
• Fachliche Zuordnung: Automatisierungstechnik, Mechatronik, Regelungssysteme, Intelligente Technische Systeme, Robotik
• Förderung: Förderung seit 2025
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 572721059

Das Projekt beschäftigt sich mit dem Universal Semantic Mapping, einem umfassenden Rahmen für die semantische Kartierung von Außenbereichen. Dieser ist so konzipiert, dass kontinuierlich Oberflächengeometrien und verschiedene Oberflächeneigenschaften (z. B. RGB-Farbe, Laserreflexion usw.) sowie höherdimensionale latente Merkmale (wie im CLIP-Einbettungsraum) erfasst und kodiert werden. Semantisches Hintergrundwissen wird durch die Verwendung großer Sprachmodelle einbezogen. Es handelt sich dabei um das erste universelle implizite Kodierungsmodell, das sowohl Geometrie als auch eine Reihe von Eigenschaftstypen (wie RGB, Infrarot oder latente Merkmale) verarbeiten kann, ohne dass ein vorheriges Training erforderlich ist. Es wird durch große Sprachmodelle (LLMs) ergänzt. Bei der sogenannten Uni-Fusion-Methode werden die Punktwolkendaten im Freien in ein regelmäßiges Gitter aus Voxeln organisiert, wobei jedes Voxel ein latentes Merkmal enthält. Dies bildet eine latente implizite Karte (LIM), die sowohl die Geometrie als auch verschiedene Eigenschaften darstellt. Da die Daten während der Fahrt im Freien inkrementell gesammelt werden, wird zunächst eine lokale LIM generiert und mit einer globalen LIM zusammengeführt. Dies soll eine inkrementelle Rekonstruktion der Umgebung in Echtzeit ermöglichen. Wir befassen uns mit den Herausforderungen von Außenumgebungen, z. B. der Verarbeitung großer Umgebungen, der Handhabung von Beleuchtungs- und Erscheinungsbildvariationen sowie der Integration von Semantik unter Verwendung von LLMs, um Hintergrundwissen hinzuzufügen. Darüber hinaus werden wir die LIM-Berechnung weiterentwickeln und Anwendungen erforschen.

• DFG-Verfahren: Sachbeihilfen