MotionDreamer: 3D 리깅된 형상을 위한 범용 골격 모션 생성

리깅된 형상(rigged shapes)을 위한 모션 생성은 확장 가능한 4D 에셋 제작에 있어 매우 중요합니다. 그러나 템플릿 기반 방식은 특정 토폴로지(topologies)에 의해 제한되며, 다양한 형태(morphologies)에 걸쳐 일반화하는 데 실패합니다. 반대로, 사례별 최적화(per-case optimization)는 계산 비용이 많이 들고, 지역 최적점(local optima)에 빠지기 쉬우며, 시점 유발 모호성(viewpoint-induced ambiguities)에 매우 민감합니다. 본 논문에서는 2D 비디오 가이던스로부터 카테고리에 구애받지 않는 골격 애니메이션(skeletal animation) 생성을 위해 설계된 확산 기반(diffusion-based) 프레임워크인 MotionDreamer를 제시합니다. 고품질 학습 데이터의 부족을 극복하기 위해, 우리는 완전한 텍스처, 골격 리깅(skeletal rigging), 그리고 광범위하고 포괄적인 애니메이션 시퀀스를 특징으로 하는 약 20,000개의 다양한 3D 모델로 구성된 대규모 동적 데이터셋을 큐레이션했습니다. 2D 시각적 모션 큐(visual motion cues)와 이질적인 3D 골격 구조 사이의 운동학적 간극(kinematic gap)을 메우기 위해, 우리는 구조적-의미적 주입(structural-semantic injection) 메커니즘을 제안합니다. 우리 모델은 텍스처와 의미적 속성(semantic attributes)을 골격 관절 표현(skeletal joint representations)에 직접 통합합니다. 이를 통해 인지된 시각적 역학(visual dynamics)을 특정 관절 계층 구조(joint hierarchies) 및 그 기능적 역할에 매핑할 수 있습니다. 이를 통해 MotionDreamer는 기존의 생물학적 종부터 환상 속의 존재에 이르기까지, 보지 못한 광범위한 카테고리에 걸쳐 해부학적 일관성(anatomical consistency)을 유지하는 고충실도(high-fidelity) 애니메이션을 합성할 수 있습니다. 광범위한 실험을 통해 우리의 접근 방식이 기존 방법들을 크게 능가하며, 견고하고 효율적인 4D 에셋 생성을 위한 새로운 최첨단(state-of-the-art) 벤치마크를 설정함을 입증했습니다. 코드는 승인 시 공개될 예정입니다.