정확도 의존적 비대칭 타겟 분포를 이용한 자기 증류 정책 최적화

요약

본 논문은 자체 증류 정책 최적화(SDPO)의 한계를 극복하기 위해 비대칭 정책 최적화 기반 자기 증류(APSD)를 제안합니다. APSD는 학생과 자체 교사의 분포를 혼합하여 정확도 의존적 타겟을 구성하며, 올바른 롤아웃은 유지하고 잘못된 롤아웃에 대한 수정 능력을 강화합니다. 실험 결과, APSD는 기존 방법 대비 우수한 성능을 보이며 적은 학습 단계로 동등한 결과를 달성했습니다.

핵심 포인트

• APSD: 비대칭 정책 최적화를 통한 자기 증류 기법 제안
• 올바른 롤아웃 유지 및 잘못된 롤아웃 수정 강화
• 발산 분해, 역-KL 바리센터 기하학 등을 활용한 이론 분석
• Qwen3 모델에서 기존 대비 적은 학습 단계로 동등 성능 입증