GRAIL: 검증 가능한 보상을 활용한 강화학습을 위한 그래디언트 재가중치 적용 어드밴티지 (Gradient-Reweighted

요약

GRAIL은 강화학습 시 모든 토큰에 동일한 가중치를 부여하는 기존 방식의 한계를 극복하기 위해 제안된 새로운 그래디언트 재가중치 방법입니다. 그래디언트 활성화 돌출도를 활용하여 추론에 핵심적인 토큰에 더 높은 가중치를 부여함으로써, 프로세스 보상 모델 없이도 모델의 수학적 추론 능력을 향상시킵니다.

핵심 포인트

• GRAIL은 토큰 단위의 어드밴티지 재가중치 기법을 도입함
• 그래디언트 활성화 돌출도를 통해 핵심 토큰에 가중치 집중
• PRM 없이도 미세한 추론 정렬(fine-grained alignment) 가능
• Qwen3, R1-distilled 등에서 GRPO 대비 성능 향상 입증