STARE: 정책 엔트로피 안정성을 위한 놀람도 기반 토큰 수준 이득 재가중치 부여

요약

GRPO 강화학습 과정에서 발생하는 정책 엔트로피 붕괴 문제를 해결하기 위해 STARE 알고리즘을 제안합니다. 놀람도(Surprisal) 기반의 토큰 수준 이득 재가중치를 통해 안정적인 탐색과 활용의 균형을 유지하며 모델의 추론 성능을 향상시킵니다.

핵심 포인트

• GRPO 학습 중 발생하는 정책 엔트로피 붕괴 문제 식별
• 놀람도 분위수를 활용한 토큰 수준의 선택적 이득 재가중치 적용
• 목표 엔트로피 폐루프 게이트를 통한 안정적인 RL 학습 구현
• AIME 벤치마크에서 기존 베이스라인 대비 4%-8% 성능 향상