Holistic Scene Understanding

• Applicant: Professor Dr.-Ing. Bodo Rosenhahn, since 6/2016
• Subject Area: Geodesy, Photogrammetry, Remote Sensing, Geoinformatics, Cartography ; Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
• Term: from 2014 to 2021
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 249306183

• Final Report Year: 2021

Final Report Abstract

Als wesentliche wissenschaftliche Fortschritte möchte die methodischen Entwicklungen im Bereich deep learning hervorheben. Insbesondere die Entwicklungen im Bereich der Szenengraphengenerierung und die Kombination von semantischen Labels (aus Text oder Sprachkorpora) für die Extraktion von Relationen zwischen Bilddetektionen ist für mich ein neues Feld, was wir in Zukunft verstärkt bearbeiten werden. Eine Hauptmotivation dabei ist der sogenannte visual Turing test, wo graphbasierte Bildrepräsentationen helfen können um relationale Fragen an ein Bild resp. Computer semantisch angemessen beantworten zu können. Während in früheren Arbeiten Relationen u.a. über gemischt-ganzzahlige lineare Programme gelöst wurden, haben wir in dieser Arbeit eine Formulierung als gewöhnliche Differentialgleichung (ODE) vorgeschlagen. Die von uns aufgebaute Architektur führt eine Szenengraphen-Inferenz durch, indem sie eine neuronale Variante einer gewöhnlichen Differentialgleichung durch eine End-to-End-Framework löst. Wir erreichen damit State-of-the-Art-Ergebnisse bei den typischem Szenen-Graphen Benchmark-Aufgaben, der Generierung von Szenengraphen (SGGen), der Klassifizierung (SGCls) und Erkennung von visuellen Beziehungen (PredCls), u.a. beim Visual Genome-Benchmark.

Publications

• Descriptor evaluation and feature regression for multimodal image analysis. Machine Vision and Applications, 2015
  Yong, Xuanzi; Yang, Michael Ying; Cao, Yanpeng & Rosenhahn, Bodo
  
• Temporally object-based video co-segmentation. In International Symposium on Visual Computing (ISVC), 2015
  Yang, Michael Ying; Reso, Matthias; Tang, Jun; Liao, Wentong & Rosenhahn, Bodo
  
• Can Ground Truth Label Propagation from Video help Semantic Segmentation? In ECCV Workshop on Video Segmentation, 2016
  Mustikovela, Siva Karthik; Yang, Michael Ying & Rother, Carsten
  
• Efficient Semantic Segmentation of Man-Made Scenes Using Fully-Connected Conditional Random Field. In International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences; ISPRS Congress, 2016
  Li, Weihao & Yang, Michael Ying
  
• Real-time RGB-D based template matching pedestrian detection. In International Conference on Robotics and Automation (ICRA), 2016
  Jafari, Omid Hosseini
  
• Superpixel Cut for Figure-Ground Image Segmentation. In ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences; ISPRS Congress, 2016
  Ying Yang, Michael & Rosenhahn, Bodo
  
• Unsupervised Deep Domain Adaptation for Pedestrian Detection. In ECCV Workshop on Crowd Understanding, 2016
  Liu, Lihang; Lin, Weiyao; Wu, Lisheng; Yu, Yong & Yang, Michael Ying
  
• Analyzing Modular CNN Architectures for Joint Depth Prediction and Semantic Segmentation. In International Conference on Robotics and Automation (ICRA), 2017
  Jafari, Omid Hosseini; Groth, Oliver; Kirillov, Alexander; Yang, Michael Ying & Rother, Carsten
  
• On Support Relations and Semantic Scene Graphs. ISPRS Journal of Photogrammetry and Remote Sensing, Elsevier, 131: 15-25, 2017
  Yang, Michael Ying; Liao, Wentong; Ackermann, Hanno & Rosenhahn, Bodo
  
• Security event recognition for visual surveillance. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, ISA17, 2017
  Liao, W.; Yang, C.; Ying Yang, M. & Rosenhahn, B.
  
• Triplet-based Deep Similarity Learning for Person Re-Identification. In ICCV Workshop on Multi- Sensor Fusion for Dynamic Scene Understanding, 2017
  Liao, Wentong; Yang, Michael Ying; Zhan, Ni & Rosenhahn, Bodo
  
• Video event recognition and anomaly detection by combining gaussian process and hierarchical dirichlet process models. Photogrammetric Engineering & Remote Sensing, 2018
  Yang, Michael Ying; Liao, Wentong; Cao, Yanpeng & Rosenhahn, Bodo
  
• Multimodal fusion architectures for pedestrian detection. Multimodal Scene Understanding: Algorithms, Applications and Deep Learning, 2019
  Guan, Dayan; Yang, Jiangxin; Cao, Yanlong; Yang, Michael Ying & Cao, Yanpeng
  
• Natural Language Guided Visual Relationship Detection. IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2019
  Liao, Wentong; Rosenhahn, Bodo; Shuai, Ling & Yang, Michael Ying
  
• Unsupervised domain adaptation for multispectral pedestrian detection. IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2019
  Guan, Dayan; Luo, Xing; Cao, Yanpeng; Yang, Jiangxin; Cao, Yanlong; Vosselman, George & Yang, Michael Ying
  
• Vehicle Detection in Aerial Images. Photogrammetric Engineering & Remote Sensing, 2019
  Yang, Michael Ying; Liao, Wentong; Li, Xinbo; Cao, Yanpeng & Rosenhahn, Bodo