요약

자기회귀 비디오 증류 과정에서 발생하는 모드 커버링(Mode Covering)과 모드 시킹(Mode Seeking) 사이의 균형을 맞추는 DistillAlign 기술을 소개합니다. 1.3B 규모의 교사 모델을 활용하여 기존 14B 모델의 정제 파이프라인 성능을 능가하는 효율적인 증류 방식을 제안합니다.

핵심 포인트

• 자기회귀 비디오 증류 시 모드 커버링과 시킹의 균형 최적화
• 1.3B 교사 모델로 기존 14B 모델 기반 파이프라인 성능 상회
• 비디오 생성 모델의 증류 효율성 및 품질 개선