On-Policy Diffusion Distillation에서의 Classifier-Free Guidance 재고

원문 발행 2026. 07. 28. 02:57원문 언어 영어AI 한국어 번역arXiv cs.AI 원문 보기

요약

On-Policy Diffusion Distillation(OPD) 과정에서 Classifier-Free Guidance(CFG)가 결합될 때 발생하는 Negative Branch Asymmetry(NBA) 문제를 분석합니다. 기존 방식의 식별 불가능성 문제를 해결하기 위해 양의 예측과 CFG 방향을 분리하여 제약하는 PDM 목적 함수를 제안합니다.

핵심 포인트

CFG 환경에서 기존 OPD의 목적 함수가 브랜치 수준에서 식별 불가능함을 증명
양의 브랜치 오류와 음의 브랜치 오류가 상쇄되는 NBA 현상 발견
브랜치 인식형 목적 함수인 PDM(Positive-Direction Matching) 도입
비디오 제어 작업에서 단순 매칭보다 견고하고 효과적인 지식 전이 확인

On-policy distillation (OPD)은 현재 학생(student) 모델이 생성한 궤적을 따라 교사(teacher) 모델에게 질의함으로써 확산 모델(diffusion models)을 적응시키지만, 현대 확산 시스템의 기본 구성 요소인 classifier-free guidance (CFG) 하에서 이것이 어떻게 동작해야 하는지는 여전히 잘 알려져 있지 않습니다. 기존의 OPD 방식은 속도 매칭(velocity matching)을 CFG가 결합된 예측값으로 자연스럽게 확장하여, 교사와 학생의 가이드된 속도를 직접 매칭합니다. 우리는 이 목적 함수가 브랜치(branch) 수준에서 식별 불가능(under-identified)하다는 것을 보여줍니다. 즉, 양의 브랜치(positive-branch) 오류와 음의 브랜치(negative-branch) 오류가 가이드된 예측값 내에서 서로 상쇄될 수 있습니다. 두 가지 대조적인 사례를 통해, 우리는 공유된 음의 조건부(negative conditioning) 하에서는 단순 매칭(naive matching)이 여전히 효과적이며, 이때 두 브랜치의 오류가 함께 감소한다는 것을 발견했습니다. 그러나 모델의 고유한 CFG 스키마가 학생 모델이 사용할 수 없는 특권 정보(privileged information)를 교사 모델의 음의 브랜치에 보유하고 있는 경우, 이러한 공동 감소 현상은 깨지게 되며, 결합된 목적 함수는 적대적인 브랜치 오류 역학(antagonistic branch-error dynamics)을 유도하여 양의 브랜치 오류는 줄이는 반면 음의 브랜치 오류는 증가시킵니다. 우리는 이러한 실패 모드를 Negative Branch Asymmetry (NBA)라고 명명합니다. NBA를 해결하기 위해, 우리는 양의 예측(positive prediction)과 CFG 조건부 방향(CFG conditional direction)을 별도로 제약하는 브랜치 인식형 OPD 목적 함수인 Positive--Direction Matching (PDM)을 도입합니다. 우리는 PDM을 dense-to-sparse 비디오 제어에 적용하였으며, 여기서 단순 가이드 매칭은 추론 가이드 스케일(inference guidance scales)에 매우 민감한 반면, 브랜치 인식형 감독(branch-aware supervision)은 더욱 견고하고 효과적인 지식 전이를 가능하게 합니다.

AI 자동 생성 콘텐츠

원문 바로가기

On-Policy Diffusion Distillation에서의 Classifier-Free Guidance 재고

요약

핵심 포인트

댓글