Personenerkennung, Wiedererkennung und Posenschätzung in Videos

• Antragsteller: Professor Dr. Jürgen Gall
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung von 2019 bis 2023
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 410904267

• Erstellungsjahr: 2023

Zusammenfassung der Projektergebnisse

Für viele Anwendungen wie Robotik, autonomes Fahren oder intelligente Fabriken müssen Maschinen Personen in ihrer Umgebung wahrnehmen. Dafür müssen sie die Positionen und Posen der anwesenden Personen kennen und kontinuierlich verfolgen. Obwohl die drei Themengebiete Personenerkennung, Wiedererkennung und Posenschätzung stark korrelieren, wurden sie bisher unabhängig voneinander erforscht, da es bisher keinen Datensatz gab, der Annotationen für alle drei Themengebiete enthielt. Wir haben daher einen sehr großen Datensatz, namens PoseTrack21, erstellt, der diese Lücke schließt. Der Datensatz enthält über 400.000 annotierte Bounding Boxes, über 170.000 annotierte menschliche Posen mit markierten Verdeckungen und annotierte IDs für Tracking und Personensuche. Darüber hinaus haben wir untersucht, wie sich die drei Themengebiete gegenseitig unterstützen können, um die Genauigkeit insbesondere im Falle von Verdeckungen zu verbessern.

Projektbezogene Publikationen (Auswahl)

• Hierarchical Online Instance Matching for Person Search. Proceedings of the AAAI Conference on Artificial Intelligence, 34(07), 10518-10525.
  Chen, Di; Zhang, Shanshan; Ouyang, Wanli; Yang, Jian & Schiele, Bernt
  
• Norm-Aware Embedding for Efficient Person Search. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE.
  Chen, Di; Zhang, Shanshan; Yang, Jian & Schiele, Bernt
  
• Self-supervised Keypoint Correspondences for Multi-person Pose Estimation and Tracking in Videos. Lecture Notes in Computer Science, 36-52. Springer International Publishing.
  Rafi, Umer; Doering, Andreas; Leibe, Bastian & Gall, Juergen
  
• Guided Attention in CNNs for Occluded Pedestrian Detection and Re-identification. International Journal of Computer Vision, 129(6), 1875-1892.
  Zhang, Shanshan; Chen, Di; Yang, Jian & Schiele, Bernt
  
• Hierarchical Information Passing Based Noise-Tolerant Hybrid Learning for Semi-Supervised Human Parsing. Proceedings of the AAAI Conference on Artificial Intelligence, 35(3), 2207-2215.
  Liu, Yunan; Zhang, Shanshan; Yang, Jian & Yuen, PongChi
  
• Improving Pedestrian Detection from a Long-tailed Domain Perspective. Proceedings of the 29th ACM International Conference on Multimedia, 2918-2926. ACM.
  Ding, Mengyuan; Zhang, Shanshan & Yang, Jian
  
• Learning a Dynamic High-Resolution Network for Multi-Scale Pedestrian Detection. 2020 25th International Conference on Pattern Recognition (ICPR), 9076-9082. IEEE.
  Ding, Mengyuan; Zhang, Shanshan & Yang, Jian
  
• Learning Scale-Adaptive Representations for Point-Level LiDAR Semantic Segmentation. 2021 International Conference on 3D Vision (3DV), 920-929. IEEE.
  Zhang, Tongfeng; Yang, Kaizhi & Chen, Xuejin
  
• Nighttime Pedestrian Detection Based on Feature Attention and Transformation. 2020 25th International Conference on Pattern Recognition (ICPR), 9180-9187. IEEE.
  Li, Gang; Zhang, Shanshan & Yang, Jian
  
• Norm-Aware Embedding for Efficient Person Search and Tracking. International Journal of Computer Vision, 129(11), 3154-3168.
  Chen, Di; Zhang, Shanshan; Yang, Jian & Schiele, Bernt
  
• Recursive Bayesian Filtering for Multiple Human Pose Tracking from Multiple Cameras. Lecture Notes in Computer Science, 438-453. Springer International Publishing.
  Kwon, Oh-Hun; Tanke, Julian & Gall, Juergen
  
• Unified Density-Aware Image Dehazing and Object Detection in Real-World Hazy Scenes. Lecture Notes in Computer Science, 119-135. Springer International Publishing.
  Zhang, Zhengxi; Zhao, Liang; Liu, Yunan; Zhang, Shanshan & Yang, Jian
  
• Keypoint Message Passing for Video-Based Person Re-identification. Proceedings of the AAAI Conference on Artificial Intelligence, 36(1), 239-247.
  Chen, Di; Doering, Andreas; Zhang, Shanshan; Yang, Jian; Gall, Juergen & Schiele, Bernt
  
• Knowledge Distillation for Object Detection via Rank Mimicking and Prediction-Guided Feature Imitation. Proceedings of the AAAI Conference on Artificial Intelligence, 36(2), 1306-1313.
  Li, Gang; Li, Xiang; Wang, Yujie; Zhang, Shanshan; Wu, Yichao & Liang, Ding
  
• PoseTrack21: A Dataset for Person Search, Multi-Object Tracking and Multi-Person Pose Tracking. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 20931-20940. IEEE.
  Doering, Andreas; Chen, Di; Zhang, Shanshan; Schiele, Bernt & Gall, Juergen
  
• A Dual-Source Attention Transformer for Multi-Person Pose Tracking, 2023
  Andreas Doering & Juergen Gall