LIFT와 PLACE: 경량 확산 모델 (Lightweight Diffusion Models)을 위한 단순하고 안정적이며 효과적인 지식 증류

요약

확산 모델의 지식 증류(KD) 과정에서 발생하는 교사 모델의 복잡한 노이즈 제거 프로세스를 학생 모델이 모방하기 어렵다는 문제를 해결하기 위한 새로운 프레임워크를 제안합니다. LIFT는 목적 함수를 거친 정렬과 정밀한 개선 단계로 분해하며, PLACE는 국소적으로 적응형 가이던스를 제공하여 공간적 오류를 해결합니다. 이를 통해 극단적인 모델 압축 상황에서도 안정적인 학습과 높은 성능을 달성할 수 있음을 입증했습니다.

핵심 포인트

• LIFT(LInear FiTtingbased distillation)를 통해 지식 증류 과정을 '거친 정렬'과 '정밀한 개선' 단계로 분리하여 학습 효율을 높임
• PLACE(Piecewise Local Adaptive Coefficient Estimation)를 도입하여 공간적으로 불균일한 오류를 국소적으로 적응하며 해결
• U-Net, DiT, MMDiT(SD3) 등 다양한 백본과 이미지/잠재 공간 전반에서 범용적인 효과 입증
• 교사 모델 대비 1.6% 수준의 극단적인 파라미터 압축 환경에서도 안정적인 수렴과 우수한 FID 성능 달성