Comprehensive Human Performance Capture from Monocular Video Footage
Final Report Abstract
Ziel unseres Vorhabens war es, Schauspieler aus konventionellen Filmszenen digital modellieren zu können. Dazu müssen Verfahren entwickelt werden, mit deren Hilfe aus der monokularen Videosequenz eines Darstellers ein umfassendes digitales Modell erzeugt werden kann, das anschließend dazu geeignet ist, wieder photo-realistische Renderingergebnisse zu erzielen. So muss die Person in der Sequenz zunachst verlässlich aus der Szene segmentiert werden und ein parametrisches Menschenmodell der jeweiligen 3D-Körperpose entweder interaktiv oder automatisiert angepasst werden. Zusätzlich müssen die Beleuchtung und Oberflächeneigenschaften des Darstellers geschätzt und eine möglichst vollständige und detaillierte Texturrepräsentation ermittelt werden. Anschließend wollten wir das Modell um fehlende Texturdetails ergänzen und möglichst photo-realistisch rendern und auch die Bewegung des animierten 3D-Menschenmodells mithilfe einer Bewegungsmuster-Datenbank variieren können. Uns war von vorneherein bewusst, dass die Aufgabe, das Erscheinungsbild eines Menschen anhand einer einzelnen monokularen Videoaufnahme vollständig digital modellieren zu wollen, beliebig schwierig sein kann. Wir wollten uns daher in diesem Vorhaben auf solche Fälle beschränken, in denen die Person eng anliegende Kleidung trägt, kurze Haare hat und über die Videosequenz hinweg vollständig zu sehen ist.
Publications
- 3D Reconstruction of Human Motion from Monocular Image Sequences. Transactions on Pattern Analysis and Machine Intelligence, IEEE, Vol. 38, No. 8, pp. 1505-1516, January 2016
Bastian Wandt, Hanno Ackermann, Bodo Rosenhahn
(See online at https://doi.org/10.1109/TPAMI.2016.2553028) - Human Pose Estimation from Video and IMUs. Transactions on Pattern Analysis and Machine Intelligence, IEEE, Vol. 38, No. 8, pp. 1533-1547, January 2016
Timo von Marcard, Gerard Pons-Moll, Bodo Rosenhahn
(See online at https://doi.org/10.1109/TPAMI.2016.2522398) - Optical Flow-based 3D Human Motion Estimation from Monocular Video. German Conference on Pattern Recognition (GCPR), September 2017
Thiemo Alldieck, Marc Kassubeck, Bastian Wandt, Bodo Rosenhahn, Marcus Magnor
(See online at https://doi.org/10.1007/978-3-319-66709-6_28) - Sparse Inertial Poser: Automatic 3D Human Pose Estimation from Sparse IMUs. Computer Graphics Forum 36(2), Proceedings of the 38th Annual Conference of the European Association for Computer Graphics (Eurographics), 2017
Timo von Marcard, Bodo Rosenhahn, Michael Black, Gerard Pons-Moll
- A Kinematic Chain Space for Monocular Motion Capture. ECCV Workshops, September 2018
Bastian Wandt, Hanno Ackermann, Bodo Rosenhahn
(See online at https://doi.org/10.1007/978-3-030-11018-5_4) - Detailed Human Avatars from Monocular Video. International Conference on 3D Vision (3DV), IEEE, pp. 98-109, September 2018
Thiemo Alldieck, Marcus Magnor, Weipeng Xu, Christian Theobalt, Gerard Pons-Moll
(See online at https://doi.org/10.1109/3DV.2018.00022) - Recovering Accurate 3D Human Pose in The Wild Using IMUs and a Moving Camera. European Conference on Computer Vision (ECCV), September 2018
Timo von Marcard, Roberto Henschel, Michael J. Black, Bodo Rosenhahn, Gerard Pons-Moll
(See online at https://doi.org/10.1007/978-3-030-01249-6_37) - Video Based Reconstruction of 3D People Models. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), IEEE, pp. 8387- 8397, Juni 2018
Thiemo Alldieck, Marcus Magnor, Weipeng Xu, Christian Theobalt, Gerard Pons-Moll
(See online at https://doi.org/10.1109/CVPR.2018.00875) - Learning to Reconstruct People in Clothing from a Single RGB Camera. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2019
Thiemo Alldieck, Marcus Magnor, Bharat Bhatnagar, Christian Theobalt, Gerard Pons-Moll
(See online at https://doi.org/10.1109/CVPR.2019.00127) - RepNet: Weakly Supervised Training of an Adversarial Reprojection Network for 3D Human Pose Estimation. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2019
Bastian Wandt, Bodo Rosenhahn
(See online at https://doi.org/10.1109/CVPR.2019.00797) - Tex2Shape: Detailed Full Human Body Geometry from a Single Image
Thiemo Alldieck, Gerard Pons-Moll, Christian Theobalt, Marcus Magnor
- Tex2Shape: Detailed Full Human Body Geometry from a Single Image. IEEE International Conference on Computer Vision (ICCV), October 2019
Thiemo Alldieck, Christian Theobalt, Gerard Pons-Moll, Marcus Magnor
(See online at https://doi.org/10.1109/ICCV.2019.00238)
