온-폴리시 셀프-디스티일레이션에서 사고 붕괴 진단 및 완화
요약
본 논문은 LLM 정렬에 사용되는 On-Policy Self-Distillation(OPSD)의 병리 현상인 '사고 붕괴(Thinking Collapse)'를 정의하고 분석합니다. 이 붕괴는 모델의 중간 추론 능력이 급격히 저하되는 최적화 트랩입니다. 연구진은 이를 해결하기 위해 Adaptive Dual-Perspective OPSD (AD-OPSD)라는 새로운 제어 프레임워크를 제안했습니다.
핵심 포인트
- 사고 붕괴(Thinking Collapse): LLM의 중간 추론 능력이 급격히 저하되는 최적화 트랩입니다.
- 원인 분석: 높은 학생 엔트로피 결정 분기점에서 교사의 공격적인 기울기가 원인입니다.
- 해결책 제시: AD-OPSD는 비대칭 점별 발산 게이트를 사용해 사고 붕괴를 완화합니다.
- 성능 개선: AD-OPSD는 표준 OPSD 대비 최대 +4.1%의 정확도 향상을 보였습니다.
On-Policy Self-Distillation (OPSD)은 대규모 언어 모델(LLMs)을 향상시키고 정렬하는 데 중요한 패러다임으로 부상했습니다. 그러나 복잡한 추론 작업에서 OPSD는 역설적으로 다운스트림 성능을 저하시킵니다. 본 논문에서는 이러한 병리 현상을 체계적으로 조사하고, 우리가 extbf{사고 붕괴(Thinking Collapse)}라고 정의하는 심각한 최적화 트랩을 식별합니다. 이는 인식론적 토큰 밀도(epistemic-token density) (1k당 ET로 측정)를 통해 측정되는 모델의 고유 중간 추론 행동의 급격한 저하입니다. 엔트로피 기반 기울기 마스킹과 토큰 레벨 타겟 분석을 통해, 우리는 이 붕괴가 높은 학생 엔트로피 결정 분기점(decision forks)에서 공격적인 교사 기울기에 의해 유발되며, 이러한 지점에서 학생 인식론적 토큰이 교사의 비인식론적 타겟으로 자주 억제되고 높은 점별 학생-교사 발산 영역에 고도로 집중된다는 것을 보여줍니다. 이 최적화 병리 현상을 해결하기 위해, 우리는 셀프-디스티일레이션 목적을 동적으로 조절하는 강력한 제어 프레임워크인 extbf{Adaptive Dual-Perspective OPSD (AD-OPSD)}를 제안합니다. AD-OPSD는 비대칭 점별 발산 게이트(asymmetrical pointwise divergence gate)를 통해 고억제 위험의 샌드박스 토큰을 참조 사전 분포(reference prior)에 선택적으로 고정하여, OPSD의 오류 수정 능력을 유지하면서 모델의 고유 사고 능력을 보존합니다. 경쟁적인 수학 벤치마크 전반에 걸친 광범위한 실험은 AD-OPSD가 다양한 모델 규모와 데이터셋에 걸쳐 표준 OPSD보다 최대 extbf{+4.1%}의 절대 평균 정확도를 개선함을 보여줍니다. 추가 분석은 AD-OPSD가 사고 붕괴를 완화하고 다른 사후 학습 패러다임으로 강력하게 일반화됨을 입증합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기