Holistic Scene Understanding

• Applicant: Professor Dr.-Ing. Bodo Rosenhahn, since 6/2016
• Subject Area: Geodesy, Photogrammetry, Remote Sensing, Geoinformatics, Cartography ; Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
• Term: from 2014 to 2021
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 249306183

• Final Report Year: 2021

Final Report Abstract

Als wesentliche wissenschaftliche Fortschritte möchte die methodischen Entwicklungen im Bereich deep learning hervorheben. Insbesondere die Entwicklungen im Bereich der Szenengraphengenerierung und die Kombination von semantischen Labels (aus Text oder Sprachkorpora) für die Extraktion von Relationen zwischen Bilddetektionen ist für mich ein neues Feld, was wir in Zukunft verstärkt bearbeiten werden. Eine Hauptmotivation dabei ist der sogenannte visual Turing test, wo graphbasierte Bildrepräsentationen helfen können um relationale Fragen an ein Bild resp. Computer semantisch angemessen beantworten zu können. Während in früheren Arbeiten Relationen u.a. über gemischt-ganzzahlige lineare Programme gelöst wurden, haben wir in dieser Arbeit eine Formulierung als gewöhnliche Differentialgleichung (ODE) vorgeschlagen. Die von uns aufgebaute Architektur führt eine Szenengraphen-Inferenz durch, indem sie eine neuronale Variante einer gewöhnlichen Differentialgleichung durch eine End-to-End-Framework löst. Wir erreichen damit State-of-the-Art-Ergebnisse bei den typischem Szenen-Graphen Benchmark-Aufgaben, der Generierung von Szenengraphen (SGGen), der Klassifizierung (SGCls) und Erkennung von visuellen Beziehungen (PredCls), u.a. beim Visual Genome-Benchmark.

Publications

• Descriptor evaluation and feature regression for multimodal image analysis. Machine Vision and Applications, 2015
  Xuanzi Yong, Michael Ying Yang, Yanpeng Cao, and Bodo Rosenhahn
  
• Temporally object-based video co-segmentation. In International Symposium on Visual Computing (ISVC), 2015
  Michael Ying Yang, Matthias Reso, Jun Tang, Wentong Liao, and Bodo Rosenhahn
  
• Can Ground Truth Label Propagation from Video help Semantic Segmentation? In ECCV Workshop on Video Segmentation, 2016
  Siva Mustikovela, Michael Ying Yang, and Carsten Rother
  
• Efficient Semantic Segmentation of Man-Made Scenes Using Fully-Connected Conditional Random Field. In International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences; ISPRS Congress, 2016
  Weihao Li and Michael Ying Yang
  
• Real-time RGB-D based template matching pedestrian detection. In International Conference on Robotics and Automation (ICRA), 2016
  Omid Hosseini and Michael Ying Yang
  
• Superpixel Cut for Figure-Ground Image Segmentation. In ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences; ISPRS Congress, 2016
  Michael Ying Yang and Bodo Rosenhahn
  
• Unsupervised Deep Domain Adaptation for Pedestrian Detection. In ECCV Workshop on Crowd Understanding, 2016
  Lihang Liu, Weiyao Lin, Lisheng Wu, Yong Yu, and Michael Ying Yang
  
• Analyzing Modular CNN Architectures for Joint Depth Prediction and Semantic Segmentation. In International Conference on Robotics and Automation (ICRA), 2017
  Omid Hosseini, Oliver Groth, Alexander Kirillov, Michael Ying Yang, and Carsten Rother
  
• On Support Relations and Semantic Scene Graphs. ISPRS Journal of Photogrammetry and Remote Sensing, Elsevier, 131: 15-25, 2017
  Michael Ying Yang, Wentong Liao, Hanno Ackermann, and Bodo Rosenhahn
  
• Security event recognition for visual surveillance. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, ISA17, 2017
  Wentong Liao, Chun Yang, Michael Ying Yang, and Bodo Rosenhahn
  
• Triplet-based Deep Similarity Learning for Person Re-Identification. In ICCV Workshop on Multi- Sensor Fusion for Dynamic Scene Understanding, 2017
  Wentong Liao, Michael Ying Yang, Ni Zhan, Bodo Rosenhahn
  
• Video event recognition and anomaly detection by combining gaussian process and hierarchical dirichlet process models. Photogrammetric Engineering & Remote Sensing, 2018
  Michael Ying Yang, Wentong Liao, Yanpeng Cao, and Bodo Rosenhahn
  
• Multimodal fusion architectures for pedestrian detection. Multimodal Scene Understanding: Algorithms, Applications and Deep Learning, 2019
  Dayan Guan, Jiangxin Yang, Yanlong Cao, Michael Ying Yang, and Yanpeng Cao
  
• Natural Language Guided Visual Relationship Detection. IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2019
  Wentong Liao, Bodo Rosenhahn, Lin Shuai, and Michael Ying Yang
  
• Unsupervised domain adaptation for multispectral pedestrian detection. IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2019
  Dayan Guan, Xing Luo, Yanpeng Cao, Jiangxin Yang, Yanlong Cao, George Vosselman, and Michael Ying Yang
  
• Vehicle Detection in Aerial Images. Photogrammetric Engineering & Remote Sensing, 2019
  Michael Ying Yang, Wentong Liao, Xinbo Li, Yanpeng Cao, and Bodo Rosenhahn