HL-OutPaint: 고해상도 장기 비디오를 위한 Coarse-to-Fine 비디오 아웃페인팅 (Video Outpainting)

요약

HL-OutPaint는 고해상도 장기 비디오 아웃페인팅을 위한 새로운 프레임워크입니다. 이 프레임워크는 2단계의 coarse-to-fine 전략을 사용하여, 먼저 전역적 구조와 움직임을 포착하는 Global Coarse Guidance (GCG)를 구축합니다. 이후 GCG가 제공하는 안내를 받아 공간적으로 상세하고 시간적으로 일관된 고해상도 아웃페인팅을 수행함으로써, 긴 비디오 시퀀스에 대한 안정적인 대규모 공간 외삽을 가능하게 합니다.

핵심 포인트

• HL-OutPaint는 장기 비디오 아웃페인팅을 위한 Coarse-to-Fine 접근 방식을 채택합니다.
• Global Coarse Guidance (GCG)를 통해 전역적 구조와 지배적인 움직임을 포착하며, 이는 단순 다운샘플링 이상의 메커니즘입니다.
• GCG는 global-local frame swapping이라는 새로운 메커니즘을 사용하여 장기적 구조와 단기적 시간 역학을 통합합니다.
• 전역 구조 모델링과 세밀한 합성을 분리하여 대규모 공간 확장 및 긴 비디오 시퀀스에서 일관된 생성을 달성합니다.