비디오 확산 모델(video diffusion models)을 위한 기하학적 감독(geometric supervision)으로서 다중 뷰 포인트 트래킹(multi-view point tracking)을 활용하면, 단안 파이프라인(monocular pipelines)을 괴롭혀온 교차 뷰 지터(cross-view jitter)를 줄일 수 있습니다. 어텐션 특징(attention features)을 보조 트래킹 헤드(auxiliary tracking head)를 통해 전달함으로써, 생성된 새로운 뷰의 비디오는 카메라 움직임 전반에 걸쳐 물리적 장면과 더 나은 정렬(alignment)을 유지합니다.

이 연구 이전에는 두 가지 계열이 새로운 뷰 비디오 합성(novel-view video synthesis)을 주도했습니다. 명시적인 3D 재구성(3-D reconstructions)은 렌더러(renderers)에 기하학 정보를 입력했지만, 기성 모듈들은 동적 객체(dynamic objects)에서 제대로 작동하지 못해 왜곡된 아티팩트(warped artifacts)를 생성했습니다. 순수하게 카메라 조건부(camera-conditioning) 확산 모델은 눈길을 사로잡는 시각적 결과물을 제공했지만, 시점이 변함에 따라 드리프트(drift) 현상이 발생하여 기저의 움직임을 저해했습니다. 두 경로 모두 시각적 충실도(visual fidelity)와 기하학적 일관성(geometric consistency) 사이에 간극을 남겼습니다.

MVTrack4Gen의 핵심 기여는 손실된 대응 관계(correspondences)를 복원하는 보조 다중 뷰 트래킹 헤드입니다. 저자들은 “특정 어텐션 레이어(attention layers)가 강력한 대응 단서(correspondence cues)를 인코딩하며, 여기서 쿼리 특징(query features)은 시점과 시간을 넘어 기하학적으로 대응하는 위치의 키 특징(key features)에 어텐션을 수행하는데, 이러한 대응 관계의 정렬 불량(misalignment)이 움직임의 불일치(motion inconsistency)를 유발한다”[[1]]고 관찰했습니다. 어텐션 특징을 포인트 트래킹 목적 함수(point-tracking objective)로 전달함으로써, 모델은 다양한 관점에 걸쳐 움직임을 정렬된 상태로 유지하는 법을 학습하며, “다양한 벤치마크에 걸쳐 우리의 방법은 최첨단(state-of-the-art) 기하학적 일관성과 경쟁력 있는 카메라 정확도를 달성한다”[[1]]고 밝혔습니다.

이 논문의 범위는 즉시 사용 가능한 솔루션(turnkey solution)에는 미치지 못합니다. 코드베이스와 사전 학습된 체크포인트(pretrained checkpoints)가 약속되었으나 아직 공개되지 않았으므로, 재현성(reproducibility)은 즉각적인 적용보다는 향후의 풀 리퀘스트(pull-request)에 달려 있습니다. 또한, 트래킹 감독(tracking supervision)은 다중 뷰 포인트 트랙(multi-view point tracks)에 대한 접근을 가정하는데, 이는 맞춤형 데이터셋(bespoke datasets)의 경우 비용이 많이 들 수 있는 요구사항입니다. 이는 이 접근 방식을 진정한 인더와일드(in-the-wild) 비디오 컬렉션으로 확장하려면 합성 감독(synthetic supervision)이나 더 효율적인 트래킹 파이프라인이 필요함을 시사합니다.

보고된 성능 향상이 유지된다면, 현재 카메라 포즈(camera pose)에만 조건화(conditioning)되는 모든 비디오 확산(video diffusion) 스택은 경량 대응 헤드(lightweight correspondence head)를 갖추도록 개조되어야 합니다. 증강된 모델에 표준 다중 뷰 일관성(multi-view consistency) 벤치마크를 실행하면, 이러한 미미한 구조적 추가가 실제 제작용 AI 생성 비디오를 제약해 온 사실성 격차(realism gap)를 진정으로 해소하는지 확인할 수 있을 것입니다.

참고 문헌

1. MVTrack4Gen: Multi-View Point Tracking as Geometric Supervision for 4D Video Generation