HorizonRelight: Diffusion Transformers를 통한 일관된 장기 비디오 재조명 (Relighting)

확산 기반 (Diffusion-based) 비디오 재조명 (Relighting)은 단일 입력 비디오로부터 제어 가능한 재조명을 가능하게 하지만, 현대의 비디오 확산 백본 (video diffusion backbones)은 짧은 클립으로 학습되어 청크 단위의 슬라이딩 윈도우 추론 (chunked sliding-window inference)을 통해 장기 비디오 (long-horizon videos)에 적용되므로, 종종 청크 경계에서 시간적 불연속성 (temporal discontinuities)을 유발합니다. 우리는 이를 장기 재조명을 \emph{시간적으로 조건화된 잠재 도메인 변환 (temporally conditioned latent domain translation)}으로 재정의함으로써 해결합니다. 우리의 프레임워크는 타겟 도메인 잠재 변수 (target-domain latents)를 경계 너머로 전파함으로써 청크 간 연속성 (cross-chunk continuity)을 강제하며, \emph{마스크된 타겟 도메인 자기 조건화 (masked target-domain self-conditioning)}를 사용하여 이러한 동작을 학습 가능하게 만들어, 모델이 시간적으로 마스킹된 전파된 컨텍스트 (propagated context)로부터 계속 이어가도록 학습시킵니다. 나아가 우리는 제어 가능한 생성 모델로부터 재조명된 프롬프트 앵커 (relit prompt anchor)를 사용하는 \emph{웜 스타트 프롬프팅 (warm-start prompting)}을 도입하여, 초기 타겟 도메인 상태를 설정하고 프롬프트 기반 재조명을 위한 일반적인 인터페이스를 생성합니다. 야생 (in-the-wild)의 장기 비디오에 대한 실험 결과, 청크 경계의 아티팩트 (artifacts)가 크게 감소하고 청크 간 원치 않는 외형 변화가 대폭 억제되어 시간적 일관성 (temporal consistency)이 현저히 향상됨을 보여줍니다.