Alibaba의 Qwen 팀, 온폴리시 확산 증류(on-policy diffusion distillation)에서의 분류기 없는
요약
Alibaba Qwen 팀이 온폴리시 확산 증류 과정에서 발생하는 '부정적 분기 비대칭' 문제를 분석했습니다. 이를 해결하기 위해 각 분기를 별도로 감독하는 '양의 방향 매칭' 기법을 제안하여 증류 성능을 개선했습니다.
핵심 포인트
- 기존 CFG 매칭의 '부정적 분기 비대칭' 실패 모드 발견
- 가이드 스케일 전반의 견고한 증류를 위한 새로운 방법론 제안
- 양의 방향 매칭(Positive–Direction Matching)을 통한 분기별 감독
Alibaba의 Qwen 팀은 온폴리시 확산 증류 (on-policy diffusion distillation)에서의 분류기 없는 가이드 (classifier-free guidance, CFG)를 재고합니다.
그들은 단순한 CFG 매칭이 '부정적 분기 비대칭 (Negative Branch Asymmetry)'이라 불리는 실패 모드를 숨기고 있음을 보여주며, 가이드 스케일 (guidance scales) 전반에 걸쳐 견고한 증류 (distillation)를 위해 각 분기를 별도로 감독하는 '양의 방향 매칭 (Positive–Direction Matching)'을 제안합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X @huggingpapers (검증됨)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0