Videosegmentierung von multiplen Repräsentierungen mit Lifted Multicuts

• Antragstellerin: Professorin Dr. Margret Keuper
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung von 2017 bis 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 360826079

Video Segmentierung ist eine wichtige Technik, die zur Lösung komplexer Aufgaben wie zum Beispiel der Objektdetektion, Aktivitätserkennung und 3D Rekonstruktion beträgt. Die wesentlichen Herausforderungen liegen darin:1. wichtige Objekte als solche zu erkennen2. eine Segmentierung mit der gewünschten Detailgenauigkeit zu erstellen3. aus Bildgradienten auf semantische Objektgrenzen zurückzuschliessen4. mit den wenigen zur Verfügung stehenden Trainiginsdaten zu arbeiten5. die großen Datenmengen zu handhaben.Anders als Bilder bieten Videodaten viele Hinweise zur Segmentierung. Die Bewegung in Videos erlaubt Objekte als solche zu definieren und gibt Anhaltspunkte zu deren Prominenz. Darüber hinaus kann sie es ermöglichen, die Geometrie einer Szene zu schätzen. Aufgrund der schwierigen Handhabung der großen Datenmengen können derzeitige Videosegmentierungsmethoden diese Vorteile aber kaum nutzen. Um (aufwändige) graphische Modelle nutzen zu können, greifen viele Methoden auf vorberechnete (fehlerbehaftete) Superpixel zurück. Lern-basierte Methoden können aus den vorhandenen Einzelframeannotationen keine zeitliche Konsistenz lernen. Diese wird meistens mittels Optischem Fluss hergestellt.In diesem Projekt wollen wir ein flexibles probabilistisches Graph-basiertes Framework zur Erstellung zeitlich konsistenter Videosegmentierungen erschaffen. Diese Framework erfasst alle Arten zeitlicher und räumlicher Information in einer Zielfunktion und erstellt Segmentierungen (Gruppierungen) für alle Modi der Datenrepräsentation in verschiedenen Detaillierungsgraden.Auf der Basis von Cut-Wahrscheinlichkeiten zwischen den Graph-Knoten wollen wir die wahrscheinlichste Segmentierung finden. Eine entsprechende Formulierung ist mittels Minimum Cost Lifted Multicuts möglich. Eine solche Formulierung erlaubt nicht nur über die Segmentzuweisung pro Knoten sondern auch über die Anzahl Segmente zu optimieren.Die wichtigsten geplanten Ziele sind, erstens, die Konzeption und Implementierung eines schnellen Solvers für das Minimum Cost Lifted Multicut Problem, der Probleminstanzen in der Größe von Videos lösen kann, zweitens, Kantenschätzungen zu erstellen, die zeitliche Informationen in Videos voll nutzen, drittens, optimierte Punkttrajektorien zu erstellen, so dass langfristige Bewegungen korrekt dargestellt werden koennen, und zuletzt, die Erstellung einer Formulierung des Videosegmentierungsproblems als Minimum Cost Lifted Multicut Problem , die diese Modi der Repräsentation ausnutzt und eine gemeinsame Optimierung erlaubt.

• DFG-Verfahren: Sachbeihilfen
• Mitverantwortlich: Professor Dr. Christoph Schnörr
• Kooperationspartner: Professor Dr. Björn Andres