GRPO 신호 극대화: 난이도 문제에 대한 적응형 트레이스 접두사 제어
요약
본 논문은 Group Relative Policy Optimization (GRPO)의 한계를 극복하기 위해 AdaPrefix-GRPO라는 새로운 방법을 제안합니다. 이 방법은 참조 해답의 접두사 길이를 난이도에 따라 동적으로 조절하는 피드백 컨트롤러를 도입하여, 모델 학습 과정에서 가장 효과적인 기울기 신호를 얻도록 합니다. 이를 통해 어려운 문제 해결 능력을 크게 향상시키고 트레이스 길이는 줄일 수 있습니다.
핵심 포인트
- GRPO는 난이도 높은 문제에서 이점(advantage)이 사라지는 문제가 있었습니다.
- AdaPrefix-GRPO는 접두사 길이를 피드백 컨트롤러로 변환하여 동적으로 조절합니다.
- 성공률을 50% 근처로 유지하여 GRPO의 기울기 신호를 최대화합니다.
- 이 방법은 모델 크기에 관계없이 어려운 문제 해결 능력을 크게 향상시킵니다.
Group Relative Policy Optimization (GRPO)은 모델의 가장 어려운 문제에서 정체됩니다. 그룹 내 어느 것도 성공하지 못하면, 그룹 상대 이점(group-relative advantages)이 사라지고 해당 문제는 기울기(gradient)에 기여하지 않아 우리가 가장 배우고 싶어 하는 경계 예제(frontier examples)를 낭비하게 만듭니다. 참조 해답의 올바른 접두사(prefix)를 앞에 붙이는 것은 성공률을 높여, 접두사 길이를 난이도에 대한 연속적인 조절기(knob)로 만듭니다. 기존 방법들은 이 조절기를 한 번 설정하는 반면, AdaPrefix-GRPO는 이를 피드백 컨트롤러로 변환합니다. 훈련 전반에 걸쳐 각 문제가 가져가야 할 해답의 양을 조정하여 성공률을 50% 근처로 유지하는데, 이곳에서 GRPO의 기울기 신호가 가장 크며, 이후에는 도움을 완전히 철회하여 배포된 모델이 아무런 도움 없이 문제를 해결하게 합니다. 매칭된 훈련 FLOPs(Floating Point Operations) 기준으로 어려운 수학 문제에서, 이 방법은 0.6B 모델의 학습 분포 외부 문제에 대한 GRPO의 정확도를 두 배 이상 높이고 (2.1배), Qwen3-1.7B에서는 1.6배, AIME에서는 1.7배를 달성하는 동시에 트레이스 길이는 대략 절반으로 줄입니다. 이 방법은 데이터 준비 단계에 추가되고 접두사 토큰에 손실 마스크(loss mask)가 적용되며, 트레이너는 기본 설정을 사용합니다. 모델이 작을수록 얻는 이득이 더 큽니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기