추론 RL을 위한 Anti-Self-Distillation (역 자기 증류)
요약
추론 RL(Reasoning RL) 성능 향상을 위해 발산을 역전시키는 Anti-Self-Distillation 기법을 제안합니다. 이 방식은 모델이 템플릿을 단순 반복하는 대신 'Wait'나 'Maybe'와 같은 숙고 토큰(deliberation tokens)을 보존하도록 유도하여 수렴 속도와 수학적 추론 성능을 크게 개선합니다.
핵심 포인트
- Anti-Self-Distillation 기법을 통해 4B-30B 규모의 모델에서 2-10배 빠른 수렴 속도 달성
- 숙고 토큰(deliberation tokens) 보존을 통해 단순 템플릿 모방 방지
- AIME 및 HMMT 벤치마크에서 +11.5점의 성능 향상 기록
추론 RL (Reasoning RL)을 위한 Anti-Self-Distillation (역 자기 증류)
발산 (Divergence)을 역전시키십시오.
템플릿을 앵무새처럼 따라 하는 대신 "Wait"나 "Maybe"와 같은 숙고 토큰 (deliberation tokens)을 보존함으로써, 4B-30B 모델 전반에 걸쳐 2-10배 빠른 수렴 (convergence)과 AIME/HMMT에서 +11.5점의 성능 향상을 이끌어냅니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X @huggingpapers (자동 발견)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0