적성에 맞춘 교육: LLM 추론을 위한 방향 적응형 자기 증류 (Direction-Adaptive Self-Distillation)

요약

LLM의 추론 능력을 향상시키기 위해 엔트로피 기반의 방향 적응형 자기 증류(DASD) 기법을 제안합니다. 기존 OPSD가 탐색 능력을 저해하는 문제를 해결하기 위해, 토큰의 불확실성에 따라 교사 모델을 따르거나 멀어지도록 조절하여 추론 성능을 최적화합니다.

핵심 포인트

• 기존 OPSD의 예측 불확실성 억제 및 추론 저하 문제 해결
• 엔트로피 기반의 방향성 감독(DASD) 메커니즘 제안
• 높은 엔트로피 토큰은 탐색 보존을 위해 교사로부터 이탈 유도
• 낮은 엔트로피 토큰은 실행 안정화를 위해 교사 모방 유도
• 6개 수학 추론 벤치마크에서 기존 베이스라인 대비 우수한 성능 달성