RLVR을 위한 효율적인 전략 가이드 탐색 기법: NudgeRL 프레임워크

요약

RLVR(검증 가능한 보상을 활용한 강화학습)의 탐색 효율성 문제를 해결하기 위해 구조화된 탐색 프레임워크인 NudgeRL을 제안합니다. NudgeRL은 전략 너징(Strategy Nudging)을 통해 다양한 추론 궤적을 유도하며, 보상 신호 분해와 증류 목적 함수를 결합하여 계산 비용을 낮추면서도 높은 성능을 달성합니다.

핵심 포인트

• RLVR의 핵심 한계인 탐색(Exploration) 문제를 해결하기 위해 전략 수준의 컨텍스트를 활용한 NudgeRL 프레임워크 제안
• 전략 너징(Strategy Nudging)을 통해 오라클 감독 없이도 다양성 중심의 추론 궤적 유도 가능
• 보상 신호를 컨텍스트 간(Inter-context) 및 컨텍스트 내(Intra-context) 요소로 분해하여 학습 효율 극대화
• 표준 GRPO 대비 최대 8배 적은 예산으로도 더 뛰어난 성능을 보이며 수학 벤치마크에서 우수한 결과 입증