Spatio-Temporal Hypercolumns for Instance-based Semantic Segmentation in Video

• Applicant: Professor Dr.-Ing. Thomas Brox
• Subject Area: Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
• Term: from 2017 to 2021
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 387723725

• Final Report Year: 2021

Final Report Abstract

In diesem gemeinsamen Projekt zwischen der Universidad de los Andes und der Universität Freiburg wurde ein Ansatz entwickelt, der auf Deep Learning basierende Instanzsegmentierung mit Bewegungsinformationen aus ebenfalls Deep-Learning basiertem optischem Fluss zusammenführt. Die Instanzsegmentierung ist für mehrere Objekte ausgelegt und hält auch eine konsistente Identität über die Zeit aufrecht. Der Ansatz kann daher auch als verfeinerter Trackingansatz betrachtet werden. Auf den DAVIS und Youtube-VOS Benchmarks zeigte das Verfahren bis dato die besten Ergebnisse bei dieser Aufgabe. Das Projekt diente primär auch der Stärkung der Zusammenarbeit zwischen der Universidad de los Andes und der Universität Freiburg sowie der Nachwuchsförderung.

Publications

• MAIN: Multi-Attention Instance Network for Video Segmentation, 2019
  Juan Leon Alcazar, Maria A. Bravo, Ali K. Thabet, Guillaume Jeanneret, Thomas Brox, Pablo Arbelaez, Bernard Ghanem
  (See online at https://doi.org/10.48550/arXiv.1904.05847)