Bernini: 비디오 확산 (Video Diffusion)을 위한 잠재 의미론적 계획 (Latent Semantic Planning)

요약

Bernini는 MLLM의 의미론적 계획 능력과 확산 모델의 렌더링 능력을 결합한 비디오 생성 및 편집 프레임워크입니다. MLLM이 ViT 임베딩 공간에서 목표 표현을 예측하면, DiT 기반 렌더러가 이를 바탕으로 픽셀을 합성하는 구조를 가집니다.

핵심 포인트

• MLLM을 플래너로, 확산 모델을 렌더러로 활용하는 통합 구조
• 의미론적 인터페이스를 통해 두 구성 요소의 개별 학습 및 효율적 공동 학습 가능
• SA-3D RoPE 도입을 통한 다중 시각적 입력 처리 능력 향상
• Chain-of-Thought 추론을 통합하여 생성 이해도 강화
• 비디오 생성 및 편집 벤치마크에서 SOTA 성능 달성