Multimodale Spärlichkeitsmodelle zur Segmentierung visuell erfasster Objekte

• Antragsteller: Professor Dr. Daniel Cremers; Professor Dr.-Ing. Klaus Diepold, seit 8/2016
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung von 2015 bis 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 263894508

Die automatische Segmentierung von Objekten in 3D-Szenen ist ein fundamentales Problem im Maschinellen Sehen. In zahlreichen High-Level- Algorithmen wie Objekterkennung, semantische Szenenanalyse und 3D-Objektrekonstruktion kommt ihr dabei eine Schlüsselrolle zu. Bei Verfahren zur unüberwachten Segmentierung bestehen bislang noch zahlreiche ungelöste Herausforderungen. Dazu zählen insbesondere der Umgang mit komplexen Texturen und Beleuchtungsvarianzen realer Szenen. Die Leitidee dieses Antrags basiert auf der Annahme, dass sich reale Objekte durch Signaleigenschaften charakterisieren lassen, welche aus unterschiedlichen Modalitäten erfasst werden. Dabei soll gezeigt werden, dass eine präzise mathematische Herleitung der multimodalen Segmentierungsansätze zu drastischen Verbesserungen unbeaufsichtigter Verfahren führt, und hierdurch physische Objekte exakt und robust in unbekannten Szenen segmentiert werden können. Insbesondere werden in diesem Projekt folgende Schwerpunkte bearbeitet: - Inspiriert durch biologische Systeme, welche ihre Umwelt durch viele unterschiedliche Signalmodalitäten gleichzeitig wahrnehmen, werden Algorithmen entwickelt, um sensorische Informationen aus verschiedenen Modalitäten miteinander zu kombinieren um dadurch unüberwachte Segmentierung zu verbessern. - Im Gegensatz zu bestehenden Systemen, welche Informationen auf höheren Verarbeitungsstufen fusionieren, ist dieses Projekt der multimodalen Integration auf Signalebene gewidmet. - Ein Ziel ist die Verallgemeinerung von Methoden spärlicher Signaldarstellung und Inferenz von unimodalen hin zu multimodalen Szenarien. Dabei soll gezeigt werden, dass die präzise Modellierung von Spärlichkeit und Abhängigkeiten zwischen multimodalen Kanälen eine erheblich genauere Unterscheidbarkeit von erwünschten Objekten ermöglicht. Die entwickelten Methoden sollen universell für unterschiedliche visuelle Daten einsetzbar sein ohne die Notwendigkeit für manuell angefertigte signalspezifische Merkmale. Innerhalb dieses Projekts werden Methoden spärlicher Signaldarstellung im Allgemeinen untersucht, wobei ein besonderes Augenmerk dem sogenannten Co-sparse Analysis-Modell zukommt.- Eine weitere wichtige Aufgabe dieses Projekts ist die Herleitung von Segmentierungsalgorithmen mittels Variationsrechnung, in welcher Spärlichkeit zur unüberwachten Objektsegmentierung ausgenutzt wird. Dabei entsteht eine Kombination aus multimodalen Spärlichkeitsmodellen und leistungsfähigen Methoden konvexer Optimierung. - Schließlich wird in diesem Projekt ein Demonstrator entwickelt, welcher aus mehreren Ansichten einer Szene und multimodal erfassten Daten eine semantische 3D- Segmentierung erzeugt. Das angestrebte Ziel ist dabei die robuste Anwendung der Verfahren unter Störeinflüssen realer Umgebungen.

• DFG-Verfahren: Sachbeihilfen
• Ehemaliger Antragsteller: Professor Dr. Martin Kleinsteuber, bis 8/2016