당신의 언어 모델이 스스로 비평가이다: 액터의 내부 상태로부터의 가치 추정 기반 강화학습

요약

본 논문은 대규모 추론 모델에 적용되는 강화학습(RLVR)의 높은 계산 비용 문제를 해결하기 위해 '내부 상태 가치 추정 기반 정책 최적화(POISE)'라는 새로운 방법을 제안합니다. POISE는 기존 방식들이 필요로 했던 복잡한 비평가 네트워크나 다중 롤아웃 대신, 정책 순전파 과정에서 이미 얻어진 내부 신호(internal signals)를 활용하여 기준선(baseline)을 효율적으로 추정합니다. 이를 통해 모델의 안정성과 최적화 효율성을 크게 향상시키면서도 계산 비용을 절감할 수 있습니다.

핵심 포인트

• 기존 RLVR 접근 방식(PPO, GRPO 등)은 비평가 네트워크나 다중 롤아웃으로 인해 높은 계산 비용이 발생합니다.
• 제안된 POISE는 정책의 내부 상태 신호(internal signals)를 활용하여 기준선 추정(baseline estimation)을 수행함으로써 효율성을 높입니다.
• 경량 프로브(probe)는 은닉 상태로부터 검증 가능한 보상과 토큰 엔트로피 통계까지 예측하며 온라인으로 학습됩니다.
• 모델 자체의 내부 표현을 사용함으로써 기울기 편향을 유지하고 더욱 안정적이고 효율적인 정책 최적화가 가능합니다.