Robuster Optischer Fluss

• Antragsteller: Professor Dr.-Ing. Andrés Bruhn
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 533085500

Der stetig wachsende Bedarf an Computer-Vision-Algorithmen zur Bewegungsschätzungen in Realwelt-Anwendungen - beispielsweise für autonomes Fahren oder medizinische Bildgebung - macht die Entwicklung robuster Methoden zur Bestimmung des optischen Flusses zu einem fundamentalen Aspekt zukünftiger Forschung. Bisher steht Robustheit bei der Entwicklung solcher Methoden jedoch klar hinter Aspekten wie Qualität oder Laufzeit zurück, welche häufig evaluiert werden und sich durch Fortschritte auf dem Gebiet neuronaler Netze stark verbessert haben. Zudem haben die wenigen bereits existierenden Ansätze zur Robustheitsuntersuchung und -verbesserung bisher kaum zur einer Entwicklung robusterer Methoden geführt - was auch eine aktuelle Studie bestätigt, die die besonders starke Verwundbarkeit führender Verfahren herausstellt. Übergeordnetes Ziel dieses Projekts ist es deshalb, die Entwicklung robuster Methoden zur Bestimmung des optischen Flusses in den Fokus zu rücken und diese voranzubringen. Hierzu soll ein neues und leicht bedienbares Framework für eine präzise Quantifizierung von Robustheit bereitgestellt, die Robustheit existierender Methoden umfassend analysiert und erste robuste Ansätze entwickelt werden, die gleichzeitig eine hohe Qualität auf Benchmarks vorweisen. Konzeptionell werden zur Robustheitsquantifikation im Rahmen des Projekts Daten außerhalb der Trainingsverteilung (Out-of-Distribution) und Adversarial Attacks (gezielte Angriffe auf neuronale Netze) verwendet. Beide Konzepte finden in der Robustheitsforschung bei Klassifikationsnetzwerken breite Anwendung, und haben einen nachgewiesen großen Einfluss auf Optische-Fluss-Netzwerke. Während die Robustheit gegenüber Out-of-Distribution-Daten die Generalisierungsfähigkeit von Modellen testet, betrachten Adversarial Attacks gezielt ungünstige Szenarien und bieten eine mathematisch motivierte Robustheitsdefinition. Da sie sich hervorragend ergänzen, sind beide Konzepte attraktiv, um die Robustheit von Optischen-Fluss-Methoden zu bestimmen. Die Entwicklung von neuen, robusteren Optischen-Fluss-Verfahren soll in vier Schritten erfolgen. In einem ersten Schritt sollen neue Analysemethoden für out-of-Distribution und adversarielle Robustheit im Kontext des optischen Flusses entwickelt werden, die eine aussagekräftigere Robustheitsquantifikation in realistischen und ungünstigsten Szenarien erlauben. In einem zweiten Schritt ermöglicht dies, Optische-Fluss-Methoden auf einem Designlevel zu analysieren, um robustheitsfördernde Strukturen (Architekturen, Layer und Losse) zu identifizieren. In einem dritten Schritt wird diese Analyse auf das Datenlevel ausgeweitet, um geeignete Datensätze und Trainingsstrategien für eine verbesserte Robustheit zu entwickeln. Schlussendlich werden die Ergebnisse dieser systematischen Analyse in einem vierten Schritt in einer neuen, robusten Optischen-Fluss-Methode vereinigt, und dienen zur Erstellung genereller Richtlinien für die Entwicklung robuster Verfahren.

• DFG-Verfahren: Sachbeihilfen