R-DMesh: Rectified Dynamic Mesh Flow를 통한 비디오 가이드 기반 3D 애니메이션

요약

R-DMesh는 비디오 가이드 기반 3D 애니메이션에서 발생하는 '포즈 불일치 딜레마'를 해결하기 위해 제안된 통합 프레임워크입니다. 이 방법은 입력 메쉬의 초기 포즈를 참조 비디오의 시작 상태에 자동으로 맞추는 '교정 점프 오프셋(rectification jump offset)'을 도입합니다. R-DMesh는 조건부 베이스 메쉬, 상대적 모션 궤적, 그리고 교정 오프셋을 분리하여 물리적 일관성을 유지하며 고충실도 4D 메쉬를 생성할 수 있습니다.

핵심 포인트

• R-DMesh는 비디오 가이드 기반 애니메이션의 핵심 문제인 포즈 불일치(pose misalignment) 문제를 해결합니다.
• 새로운 VAE 구조를 도입하여 입력 메쉬의 임의 포즈를 비디오 초기 상태에 맞추는 '교정 점프 오프셋'을 학습하고 분리 처리합니다.
• Triflow Attention과 Rectified Flow 기반 Diffusion Transformer를 사용하여 물리적 일관성과 국부적 강성을 보장하며 4D 메쉬를 생성합니다.
• Video-RDMesh라는 대규모 데이터셋(50만 개 이상의 동적 메쉬 시퀀스)을 구축하여 모델의 성능을 입증했습니다.