MV-Forcing: 4D-Grounded 시공간 자기 강제(Spatio-Temporal Self-Forcing)를 통한 긴 다중 시점 비디오
요약
MV-Forcing은 4D 기하학적 브리지를 활용하여 긴 다중 시점 비디오를 생성하는 새로운 프레임워크를 제안합니다. 3D 재구성 모델을 통해 시점 간 기하학적 일관성을 유지하며, 공동 디노이징 방식을 통해 시간적 제약 없이 비디오를 확장할 수 있습니다.
핵심 포인트
- 4D 기하학적 브리지를 통한 시공간 자기회귀 결합
- 3D 재구성 모델을 활용한 시점 간 기하학적 사전 정보 제공
- 공동 디노이징 방식을 통한 시간적 제한 없는 생성 가능
- 시공간 자기 강제(Self-Forcing)로 훈련-추론 노출 편향 해소
- 임의의 길이와 시점에 대해 일관된 다중 시점 비디오 생성
최근 비디오 확산 모델(video diffusion models)의 발전으로 시간적 자기회귀(temporal autoregression)를 통한 긴 단일 시점 생성, 또는 양방향 어텐션(bidirectional attention)을 통한 짧은 다중 시점 합성이 가능해졌습니다. 그러나 역동적인 장면(dynamic scenes)에 대해 길고 다중 시점 간 일관성을 유지하는 비디오를 생성하는 것은 여전히 해결되지 않은 과제로 남아 있습니다. 본 연구에서는 순차적으로 생성되는 시점들 사이에 4D 기하학적 브리지(4D geometric bridge)를 도입함으로써, 단일 확산 모델 내에서 시간적 및 시점별 자기회귀(autoregression)를 결합하는 프레임워크인 MV-Forcing을 제안합니다. 우리의 핵심 통찰은 자기회귀적 3D 재구성(3D reconstruction) 모델이 자기회귀적으로 생성된 시점들 사이를 자연스럽게 연결한다는 점입니다. 완성된 소스 시점이 주어지면, 해당 시점의 3D 구조를 재구성하고 다음 타겟 시점의 기하학적 사전 정보(geometric prior)를 렌더링하며, 확산 모델은 이를 고품질 비디오로 정교화합니다. 교사(teacher) 모델의 고정된 시간적 창(temporal window)을 넘어 생성을 확장하기 위해, 우리는 훈련 과정에서 두 시점 슬롯(view slots) 모두를 노이즈로부터 초기화하는 공동 디노이징 방식(joint denoising regime)을 도입하여 시간적으로 제한이 없는 생성을 가능하게 합니다. 우리는 시공간 자기 강제(Spatio-Temporal Self-Forcing)를 포함한 분포 매칭 증류(Distribution Matching Distillation)를 통해 모델을 증류(distill)하며, 이를 통해 시간적 및 시점 순차적 자기회귀 모두에서 훈련-추론 노출 편향(exposure bias) 격차를 해소합니다. 합성 데이터와 실제 데이터 모두에 대한 광범위한 실험을 통해, MV-Forcing이 단일 소수의 단계(few-step)를 가진 학생(student) 모델을 사용하여 임의의 길이와 시점 수에 대해 역동적인 장면의 기하학적으로 일관된 다중 시점 비디오를 생성함을 입증합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기