Few-Step 확산 모델을 위한 온-정책 증류 간소화 및 개선

요약

본 논문은 확산 및 흐름 모델의 샘플링 비용을 줄이는 Few-step 증류 기법을 개선한 Simplified Matching Distillation (SMD) 프레임워크를 제안합니다. SMD는 온-정책 속도 회귀와 훈련 전용 잔차 프록시(Pivot)를 사용하여, 복잡한 보조 모델이나 적대적 훈련 없이도 강력한 Few-step 기반 생성기를 구축할 수 있습니다.

핵심 포인트

• SMD는 온-정책 속도 회귀만으로 4-NFE에 강력한 기반을 제공합니다.
• 복잡한 아키텍처나 적대적 훈련 없이 배포 가능한 생성기 변경이 필요 없습니다.
• 이미지, 3D, 비디오 등 다양한 분야에서 높은 성능을 입증했습니다.
• 다단계 교사 모델보다 뛰어난 성능과 크로스-모델 지원을 합니다.