Off-Context GRPO: 특권 정보(Privileged Information)를 사용하여 어려운 문제에 대해 추론하는 법 배우기

요약

Off-Context GRPO(OC-GRPO)는 강화학습 과정에서 특권 정보(Privileged Information)를 활용해 LLM의 추론 능력을 향상시키는 새로운 방법론을 제안합니다. 모델이 정답을 찾기 어려운 상황에서 가이드를 제공하되, 중요도 보정을 통해 원래의 목적 함수를 유지하며 학습 효율을 높입니다.

핵심 포인트

• 특권 가이드를 활용해 RLVR의 학습 절벽 문제 해결
• 중요도 보정(Importance-corrected)을 통한 목적 함수 불일치 방지
• 수학 추론 벤치마크에서 표준 GRPO 대비 평균 3.9% 성능 향상
• 추가 비용을 최소화하면서 모델의 추론 성능을 효과적으로 개선