Modellselektion für Oberflächenapproximation und Szeneninterpretation

• Antragsteller: Professor Dr.-Ing. Olaf Hellwich; Professor Dr.-Ing. Helmut Mayer
• Fachliche Zuordnung: Geodäsie, Photogrammetrie, Fernerkundung, Geoinformatik, Kartographie
• Förderung: Förderung von 2014 bis 2019
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 265030540

Structure from Motion (SfM) und Multi-View Stereo (MVS) Methoden erlauben die kostengünstige 3D Rekonstruktion von Objekten. Die generierten Daten, typischerweise Punktwolken, beinhalten jedoch Fehler, Löcher und oft auch Ausreißer. Außerdem ist die Punktwolke eine eher primitive Form der Datenrepräsentation, da keinerlei höherwertige geometrische oder semantische Information direkt aus ihr abgeleitet werden kann.Im Bereich der Gebäudefassaden beschäftigt sich dieses Projekt mit der Entwicklung von Methoden, welche flexiblere Modelle aus MVS Punktwolken generieren. Unser Ansatz basiert auf der Erkenntnis, dass eine Kombination von geometrischer und semantischer Regularisierung der Schlüssel zu einer plausiblen Abstraktion der Daten ist. Wir schlagen vor, zwischen geometrischer Regularisierung und semantischer Interpretation zu alternieren, wobei beide Seiten voneinander profitieren. In diesem iterativen Schema kann die geometrische Seite die semantische Information nutzen, indem auf spezifisches Vorwissen bei der Regularisierung zurückgegriffen wird.Andersherum profitiert auch die Seite der semantischen Interpretation von dem Austausch, da sie zusätzlich zu den initialen visuellen Daten auf eine verfeinerte, idealisierte geometrische Abstraktion zugreifen kann.Die von unserer Methode generierten Daten werden eine Abstraktion der ursprünglichen Daten sein. Rauschen, Ausreißer und "unwichtige" Details werden entfernt und die Gebäudefassade auf die Essenz reduziert. Den einzelnen Teilen des generierten Modells werden semantische Bedeutungen zugeordnet, wie z.B. "Fenster", "Balkon" oder "Tür". Zusätzlich sind der Architekturstil der Fassade sowie die Struktur der Elemente (z.B. das Muster von Fenster-Wiederholungen) bekannt.Wir glauben, dass diese Methoden ein wichtiger Schritt in Richtung der automatischen und kostengünstigen Generierung detaillierter Stadtmodelle sind, die nicht nur visuell präzise, sondern auch semantisch angereichert sind.Im ersten Jahr der ersten Finanzierungsperiode wurden erste Tests durchgeführt und, basierend auf den Ergebnissen von Experimenten, das fundamentale Rahmenwerk implementiert. Trotz der kurzen bisherigen Laufzeit des Projektes demonstrieren wir überzeugende Ergebnisse auf schwierigen Eingabedaten und sind der Meinung, dass weitere Forschung lohnenswert ist. In der zweiten Finanzierungsperiode werden wir unsere Bemühungen primär auf die geometrische Regularisierung und die semantische Interpretation, sowie die quantitative Evaluierung richten. Zusätzlich werden wir unsere Möglichkeiten der Daten-Akquisition und Texturierung der Modelle weiter ausbauen, um die visuelle Qualität der idealisierten Abstraktion zu erhöhen. Als ein zusätzliches Anwendungsszenario dieser idealisierten, semantisch angereicherten Abstraktion werden wir Rekonstruktionen vergleichen, um automatisch Änderungen in der Fassade zu detektieren, welche basierend auf den semantischen Informationen klassifiziert werden.

• DFG-Verfahren: Sachbeihilfen