JUMP: Umfassende raumzeitliche Szenenanalyse mit Bewegungsprior

• Antragsteller: Dr.-Ing. Nikita Araslanov
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Künstliche Intelligenz und Maschinelle Lernverfahren
• Förderung: Förderung seit 2025
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 563662485

Selbstüberwachte Foundation-Modelle werden zum Grundstein der KI. Trotz einer Vielzahl von Foundation-Modellen für die visuelle Szenenanalyse gibt es jedoch ein kritisches Problem. Jedes Modell kann nur einen Bruchteil der Downstream-Anwendungen abdecken, und kein einziges Modell ist universell einsetzbar. Mein Projekt JUMP ("Joint spatio-temporal scene Understanding with Motion Prior") wird diese Lücke schließen. JUMP wird tiefe Repräsentationen von visuellen Foundation-Modellen auf die nächste Stufe der Generalisierung in der Computer Vision und darüber hinaus bringen. JUMP setzt große öffentlich verfügbare Video-Datensätze ein und destilliert Bewegungsmuster, um sowohl die semantischen als auch die geometrischen Eigenschaften von tiefen visuellen Repräsentationen zu verbessern. Einerseits werden diese Eigenschaften die Szenenkomposition mit einem höheren Grad an Granularität offenbaren ("bewegliche" Objekte). Andererseits wird JUMP visuelle Repräsentationen lernen, die geometrisch fundierter sind. Diese Verbesserungen werden zentrale Aufgaben von Computer Vision wie 3D-Rekonstruktion und visuelle Odometrie, sowie semantische Aufgaben wie panoptische und Open-Vocabulary-Segmentierung, voranbringen. Insgesamt werden die durch JUMP verbesserten visuellen Repräsentationen ein einheitliches Rückgrat für das visuelle Szenenanalyse bilden und die Genauigkeit bei Downstream-Anwendungen in der Robotik, der erweiterten Realität, der medizinischen Bildverarbeitung und bei den Menschen unterstützenden Technologien auf kosteneffiziente Weise verbessern.

• DFG-Verfahren: WBP Stipendium
• Internationaler Bezug: Großbritannien
• Gastgeber: Professor Dr. Andrea Vedaldi; Professor Dr. Andrew Zisserman