ActCam: Zero-Shot Joint Camera and 3D Motion Control for Video Generation

요약

ActCam은 비디오 생성 과정에서 캐릭터의 동작과 카메라 궤적을 동시에 정밀하게 제어할 수 있는 Zero-Shot 방법을 제시합니다. 이 모델은 사전 학습된 이미지-비디오 확산 모델을 기반으로 하며, 장면 깊이와 캐릭터 포즈 조건을 입력받아 기하학적으로 일관된 비디오를 생성합니다. ActCam의 독특한 두 단계 조건부 스케줄링 프로세스는 초기 분해소에서 장면 구조를 강제하고, 이후 고주파수 세부 사항을 정교화하여 카메라 준수도와 동작 충실도를 크게 향상시킵니다.

핵심 포인트

• ActCam은 비디오 생성에 있어 캐릭터의 움직임과 카메라 궤적을 동시에 제어하는 Zero-Shot 방법을 제공합니다.
• 모델은 장면 깊이 및 캐릭터 포즈 조건을 조건부 입력으로 사용하여 기하학적으로 일관된 출력을 보장합니다.
• 두 단계의 조건부 스케줄링(Stage-wise Conditioning)을 통해 초기 구조 강제와 고주파수 디테일 정교화를 분리하여 수행합니다.
• 특히 큰 뷰포인트 변화가 발생하는 도전적인 시나리오에서 높은 카메라 준수도와 동작 충실도를 입증했습니다.