분포 매칭 증류를 위한 개선된 크리틱의 중요성

요약

본 논문은 분포 매칭 증류(DMD)를 위해 크리틱의 개선된 역할을 제시합니다. 용량 측면에서는 '공동 스케일링'을 통해 훈련 붕괴를 방지하고, 정보 측면에서는 단계별 점수 추정이 가능한 'Step-Aware Critic (STAC)'을 도입했습니다. 이 두 가지 전략은 다양한 조건부 이미지 및 비디오 생성 모델의 증류 성능을 일관되게 개선합니다.

핵심 포인트

• DMD는 교사 점수와 학생 분포 차이를 활용하여 학생 모델을 훈련하는 방식입니다.
• '공동 스케일링'은 크리틱과 교사를 함께 확장하여 훈련 붕괴를 방지하고 성능을 높입니다.
• 단계별 점수를 추정하는 'Step-Aware Critic (STAC)'이 도입되어 정보 측면의 한계를 개선했습니다.
• 제안된 방법론들은 SDXL, FLUX.2 등 다양한 생성 모델에서 증류 효과를 입증했습니다.