GVHMR: World-Grounded Human Motion Recovery via Gravity-View Coordinates
World-Grounded Human Motion Recovery via Gravity-View Coordinates
Zehong Shen<sup>*</sup>,
Huaijin Pi<sup>*</sup>,
Yan Xia,
Zhi Cen,
Sida Peng<sup>†</sup>,
Zechen Hu,
Hujun Bao,
Ruizhen Hu,
Xiaowei Zhou
SIGGRAPH Asia 2024
<p align="center">
<img src=docs/example_video/project_teaser.gif alt="animated" />
</p>
뉴스 🔥
- [2025-03-08] 기본적으로 DPVO를 사용하지 않습니다. 보다 효율적이며 GVHMR과 호환되는 SimpleVO를 구현했습니다.
- [2025-03-08] 풀프레임 카메라의 초점 거리를 mm 단위로 지정하는 새로운 옵션
f_mm을 추가했습니다.
설정 (Setup)
자세한 내용은 설치(installation)를 참조하십시오.
빠른 시작 (Quick Start)
데모 (Demo)
데모 항목은 tools/demo에 제공됩니다. 카메라가 정적(static)임을 알고 있다면 -s를 사용하고, 그렇지 않다면 DPVO가 카메라를 추정합니다.
또한 전체 폴더에 대한 추론을 수행할 수 있는 스크립트 demo_folder.py도 제공합니다.
python tools/demo/demo.py --video=docs/example_video/tennis.mp4 -s
python tools/demo/demo_folder.py -f inputs/demo/folder_in -d outputs/demo/folder_out -s
재현하기(Reproduce)
- 테스트(Test):
3DPW, RICH, 및 EMDB 결과를 단일 실행으로 재현하려면 다음 명령어를 사용하십시오:
python tools/train.py global/task=gvhmr/test_3dpw_emdb_rich exp=gvhmr/mixed/mixed ckpt_path=inputs/checkpoints/gvhmr/gvhmr_siga24_release.ckpt
개별 데이터셋을 테스트하려면 global/task를 gvhmr/test_3dpw, gvhmr/test_rich, 또는 gvhmr/test_emdb로 변경하십시오.
- 학습(Train):
모델을 학습시키려면 다음 명령어를 사용하십시오:
# gvhmr_siga24_release.ckpt는 2x4090으로 420 에포크(epochs) 동안 학습되었으며, GPU 설정이 다르면 다른 결과가 나올 수 있습니다.
python tools/train.py exp=gvhmr/mixed/mixed
학습 과정 중에는 테스트 스크립트와 달리 후처리(post-processing)를 사용하지 않으므로 전역 지표(global metrics) 결과는 다르게 나타날 것입니다 (하지만 베이스라인 방법과의 비교에는 여전히 좋을 것입니다).
인용(Citation)
본 코드가 연구에 유용하다고 판단되시면, 다음 BibTeX 항목을 사용해 주십시오.
@inproceedings{shen2024gvhmr,
title={World-Grounded Human Motion Recovery via Gravity-View Coordinates},
author={Shen, Zehong and Pi, Huaijin and Xia, Yan and Cen, Zhi and Peng, Sida and Hu, Zechen and Bao, Hujun and Hu, Ruizhen and Zhou, Xiaowei},
...
감사의 글(Acknowledgement)
다음의 연구자들에게 감사드립니다:
WHAM,
4D-Humans,
및 ViTPose-Pytorch의 훌륭한 작업 덕분에 저희 프로젝트/코드가 가능할 수 있었습니다.
