Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
UniCaMo는 확산 모델의 입력 노이즈를 직접 구성하여 객체 궤적과 카메라 시점을 동시에 제어하는 통합 프레임워크입니다. 3D 기반 모션 일관성 노이즈 공간을 구축하여 별도의 아키텍처 변경 없이도 높은 기하학적·시간적 일관성을 유지합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기현대의 이미지 및 텍스트 기반 비디오 확산 모델 (image-and-text-to-video diffusion models)은 참조 이미지와 텍스트 입력에 조건화된 초기 가우시안 노이즈 텐서 (Gaussian noise tensor)를 반복적으로 디노이징 (denoising) 함으로써 매우 사실적인 비디오를 합성할 수 있습니다. 그러나 기존의 방식들은 단일 생성 과정 내에서 객체 움직임 (object motion)과 카메라 움직임 (camera motion) 모두에 대한 정밀하고 통합된 제어 가능성 (controllability)이 여전히 부족합니다. 우리는 확산 모델 (diffusion model)의 입력 노이즈를 직접 구성함으로써 객체 궤적 (object trajectories)과 카메라 시점 (camera viewpoints)을 동시에 제어할 수 있는 통합 프레임워크인 UniCaMo를 제시합니다. 구체적으로, UniCaMo는 잠재 비디오 프레임 (latent video frames) 전반에 걸쳐 공유된 3D 기반 모션 일관성 노이즈 공간 (3D-grounded motion-consistent noise space)을 구축합니다. 희소 3D 포인트 트랙 (Sparse 3D point tracks)은 원하는 객체 궤적을 따라 참조 프레임의 가우시안 노이즈를 워핑 (warp) 하는 데 사용되며, 가상 구형 노이즈 표현 (virtual spherical noise representation)은 카메라 움직임에 따라 새롭게 드러나는 장면 영역에 대해 전역적으로 일관된 노이즈 값을 제공합니다. 국소적인 트랙 가이드 노이즈 워핑 (track-guided noise warping)과 전역적인 구체 기반 노이즈 샘플링 (sphere-based noise sampling)을 결합함으로써, UniCaMo는 객체 이동과 시점 변화 모두에서 기하학적 및 시간적 일관성 (geometric and temporal consistency)을 유지합니다. UniCaMo는 입력 노이즈만을 수정하기 때문에, 기본 비디오 확산 모델에 대한 보조 어댑터 (auxiliary adapters), 제어 분기 (control branches) 또는 아키텍처 변경이 필요하지 않습니다. Wan 2.1 (14B)을 포함한 대규모 사전 학습된 비디오 확산 모델에 대한 경량 LoRA 미세 조정 (fine-tuning)을 통해, UniCaMo는 표준 제어 가능한 비디오 생성 벤치마크에서 비디오 품질과 모션 제어 가능성 모두에서 최첨단 (state-of-the-art) 결과를 달성합니다.