전신 아바타 애니메이션을 위한 잠재 역학 (Latent Dynamics)

신경 렌더링 (Neural Rendering)을 기반으로 구축된 포즈 기반 전신 아바타는 캡처된 피사체의 고품질 신규 뷰 (Novel Views)를 생성합니다. 하지만 헐렁한 옷이나 기타 동적 요소들은 포즈만으로는 설명할 수 없는 방식으로 변형됩니다. 즉, 동일한 포즈라도 움직임이 과거 이력, 관성 (Inertia), 접촉 (Contact)에 따라 달라지기 때문에 여러 가지 서로 다른 상태에 대응할 수 있습니다. 명시적 시뮬레이션 (Explicit Simulation) 및 레이어드 의류 (Layered-garment) 방식은 이러한 역학을 모델링할 수 있지만, 원본 멀티뷰 캡처 (Multi-view Capture) 데이터가 자연스럽게 제공하지 않는 전용 의류 템플릿이 필요하거나, 실행 시 상당한 비용이 발생하는 테스트 타임 물리 시뮬레이터 (Test-time Physics Simulator)가 필요합니다. 또 다른 연구 흐름은 명시적인 의류 레이어를 피하는 데이터 기반 (Data-driven) 의류 아바타를 학습합니다. 이러한 방법들은 포즈 이외의 변화를 위해 보조적인 잠재 변수 (Auxiliary Latent)를 추가합니다. 추론 (Inference) 시에는 이 잠재 변수를 고정하거나, 포즈로부터 회귀 (Regress)하거나, 학습 데이터에서 검색하지만, 잠재 변수가 자체적인 역학에 따라 어떻게 진화하는지는 명시적으로 모델링하지 않습니다. 또한, 헐렁한 옷을 입은 일상적인 움직임에서도 기존 아키텍처는 세밀한 디테일을 포착하는 데 어려움을 겪는 경우가 많아, 흐릿한 렌더링과 시간적 아티팩트 (Temporal Artifacts)를 생성합니다. 본 연구에서는 포즈 조건부 3D 가우시안 (3D Gaussian) 아바타를 트랜스포머 기반 디코더 (Transformer-based Decoder)와 구동 신호 이상의 시간적 외형 및 기하학적 변화를 포착하는 역학 잔차 잠재 변수 (Dynamics Residual Latent)로 확장합니다. 추론 시에는 학습된 잠재 역학 모델 (Learned Latent Dynamics Model)이 짧은 포즈 이력과 이전 잠재 상태로부터 잔차 잠재 변수를 진화시킵니다. 이 모델은 각 업데이트를 구동력 (Driving), 복원력 (Restoring), 소산력 (Dissipative Forces)으로 분해하여, 추가 비용을 거의 들이지 않고도 시간적으로 일관되며 이력에 의존하는 롤아웃 (Rollouts)을 생성합니다. 서로 다른 초기 조건은 다양하면서도 그럴듯한 움직임 궤적을 만들어내며, 힘의 분해를 통해 강성 (Stiffness)과 같은 제어 기능을 노출합니다. 다양한 헐렁한 의류를 착용한 일상적 움직임이 담긴 9개의 캡처 시퀀스에 대해 정량적 지표와 지각적 사용자 연구 (Perceptual User Study)를 수행한 결과, 최근의 데이터 기반 베이스라인 (Baselines) 모델들보다 개선된 애니메이션 품질을 보여주었습니다.