GRPO 신호 극대화: 난이도 문제에 대한 적응형 트레이스 접두사 제어

요약

본 논문은 Group Relative Policy Optimization (GRPO)의 한계를 극복하기 위해 AdaPrefix-GRPO라는 새로운 방법을 제안합니다. 이 방법은 참조 해답의 접두사 길이를 난이도에 따라 동적으로 조절하는 피드백 컨트롤러를 도입하여, 모델 학습 과정에서 가장 효과적인 기울기 신호를 얻도록 합니다. 이를 통해 어려운 문제 해결 능력을 크게 향상시키고 트레이스 길이는 줄일 수 있습니다.

핵심 포인트

• GRPO는 난이도 높은 문제에서 이점(advantage)이 사라지는 문제가 있었습니다.
• AdaPrefix-GRPO는 접두사 길이를 피드백 컨트롤러로 변환하여 동적으로 조절합니다.
• 성공률을 50% 근처로 유지하여 GRPO의 기울기 신호를 최대화합니다.
• 이 방법은 모델 크기에 관계없이 어려운 문제 해결 능력을 크게 향상시킵니다.