최근LLM의 추론 능력 강화 연구는 '검증 가능한 보상 (Verifiable Rewards)'을 활용하여

요약

본 논문은 대규모 언어 모델(LLM)의 추론 능력을 강화하기 위해 '검증 가능한 보상 (Verifiable Rewards)' 패러다임을 활용합니다. 기존 방법인 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)는 비평가 모델을 사용하지만, 중간 단계에 대한 신뢰할 수 없는 기여도 할당 문제로 인해 효과적인 추론 전략 식별과 과도한 사고를 유발하는 한계가 있었습니다. 이를 해결하기 위해 연구진은 '검증 가능한 과정 감독 (Verifiable Process Supervision, VPS)

핵심 포인트

• VPS는 모델의 추론 경로 전반에 걸쳐 정답에 대한 신념을 측정하여 과정을 검증합니다.
• 이 방법은 생성을 이산적인 단계로 나누고 각 경계에서 조건부 확률을 추적하여 해석 가능한 진행 정도를 계산합니다.
• VPS를 적용한 GRPO는 기존 방식 대비 수학 및 일반 도메인 벤치마크에서 높은 성능 향상을 보였습니다.