MuNet: 단일 이미지로부터 3D 인간 메쉬 복원 및 3D 의복 착용 인간 재구성을 위한 상호주의 네트워크

3D 인간 메쉬 복원 (3D human mesh recovery) 및 3D 의복 착용 인간 재구성 (3D clothed human reconstruction)은 본질적으로 연관되어 있지만, 오랫동안 개별적으로 연구되어 왔으며, 이로 인해 공동 최적화 (joint optimization)의 잠재적 이점을 간과해 왔습니다. 이러한 한계를 극복하기 위해, 우리는 이 두 작업의 상호 의존성을 효과적으로 활용할 수 있는 통합 프레임워크 내에서 이 문제들을 해결할 것을 제안합니다. 이러한 아이디어를 바탕으로, 우리는 단일 이미지로부터 3D 인간 메쉬 복원 및 3D 의복 착용 인간 재구성을 위한 상호주의 네트워크인 MuNet을 제안합니다. 첫째, 우리는 모든 3D 모델에 대한 통합된 표현으로 2-매니폴드 그래프 (2-manifold graphs)를 채택하여, 3D 인간 메쉬 복원과 의복 착용 인간 재구성 전반에 걸쳐 일관된 모델링을 가능하게 합니다. 둘째, 초기 그래프를 3D 인간 메쉬로 점진적으로 변형하고 이를 상세한 3D 의복 착용 인간 모델로 정교화하는 엔드투엔드 그래프 컨볼루션 네트워크 (end-to-end graph convolutional network)를 설계합니다. 셋째, {훈련 과정 중} 두 작업 간의 상호 작용을 허용하는 상호주의 메커니즘 (mutualistic mechanism)을 도입합니다. 여기서 3D 인간 메쉬 복원은 3D 의복 착용 인간 재구성을 위한 가이드를 제공하며, 재구성 피드백은 3D 인간 메쉬 복원을 정교화합니다. 우리는 Human3.6M, 3DPW, MPI-INF-3DHP, THuman2.0, CAPE, RenderPeople를 포함하여 3D 인간 메쉬 복원 및 3D 의복 착용 인간 재구성을 위한 6개의 벤치마크 데이터셋에서 MuNet을 광범위하게 평가합니다. 실험 결과, MuNet은 모든 데이터셋에 대해 두 작업 모두에서 최첨단 (state-of-the-art) 성능을 달성함을 입증했습니다. MuNet의 코드는 연구 목적으로 https://github.com/starVisionTeam/MuNet 에서 공개되었습니다.