TunerDiT: 다중 이벤트 비디오 생성을 위한 Diffusion Transformer의 훈련 없는 점진적 스티어링 (Progressive

텍스트-비디오 (Text-to-video, T2V) 생성은 여러 이벤트가 포함된 긴 호흡의 비디오를 생성할 때 도전적인 문제에 직면합니다. 확산 과정 (diffusion process)의 본질에서 영감을 얻어, 우리는 비디오 확산 트랜스포머 (Diffusion Transformers, DiTs)를 조사하여, 조건부 텍스트 (conditioning text)가 전역적 레이아웃 (global layout)에서 미세한 세부 사항 (fine-grained details)에 이르기까지 생성에 영향을 미치는 DiT 노이즈 제거 궤적 (denoising trajectory) 내의 고유한 전환점 (turning points)을 발견했습니다. 이러한 발견을 바탕으로, 우리는 다중 이벤트 생성을 위해 추가적인 훈련이 필요 없는 단순하면서도 효과적인 점진적 스티어링 (progressive steering) 방법인 TunerDiT를 제안합니다. TunerDiT는 두 가지 스티어링 핸들 (steering handles)로 구성됩니다: (1) 이벤트 간 전환 대역 (cross-event transition bands)을 허용하면서 이벤트 경계 (event boundaries)를 강제하는 이벤트 분할 마스킹 (Event-Partitioned Masking); (2) 후기 단계의 정교화 (refinement)를 위해 인접한 이벤트의 의미론 (semantics)을 주입하는 이벤트 간 프롬프트 융합 (Cross-Event Prompt Fusion)입니다. 우리는 다중 이벤트 생성을 벤치마킹하기 위해 자체적으로 큐레이션한 프롬프트 제품군인 Meve를 기여합니다. TunerDiT는 다른 훈련 없는 (training-free) 방법들과 비교했을 때 8개의 지표에서 최첨단 (state-of-the-art) 성능을 달성하며, 비디오 일관성 (video consistency)과 이벤트 분리 (event separation) 사이의 조절 가능한 트레이드오프 (trade-off)를 제공합니다. 텍스트 정렬 (text alignment)의 개선은 이벤트 수가 증가함에 따라 함께 증가하며, 이는 이벤트 수 증가에 따른 확장 가능성 (scaling possibility)을 나타냅니다.