온-폴리시 셀프-디스티일레이션에서 사고 붕괴 진단 및 완화

요약

본 논문은 LLM 정렬에 사용되는 On-Policy Self-Distillation(OPSD)의 병리 현상인 '사고 붕괴(Thinking Collapse)'를 정의하고 분석합니다. 이 붕괴는 모델의 중간 추론 능력이 급격히 저하되는 최적화 트랩입니다. 연구진은 이를 해결하기 위해 Adaptive Dual-Perspective OPSD (AD-OPSD)라는 새로운 제어 프레임워크를 제안했습니다.

핵심 포인트

• 사고 붕괴(Thinking Collapse): LLM의 중간 추론 능력이 급격히 저하되는 최적화 트랩입니다.
• 원인 분석: 높은 학생 엔트로피 결정 분기점에서 교사의 공격적인 기울기가 원인입니다.
• 해결책 제시: AD-OPSD는 비대칭 점별 발산 게이트를 사용해 사고 붕괴를 완화합니다.
• 성능 개선: AD-OPSD는 표준 OPSD 대비 최대 +4.1%의 정확도 향상을 보였습니다.