CoRT: 루브릭 가이드 RL을 위한 토큰 수준의 신용 할당 (credit assignment)

요약

CoRT는 GRPO의 루브릭 피드백이 모든 토큰에 동일하게 적용되는 한계를 해결하기 위해 토큰 수준의 신용 할당 방식을 제안합니다. 반사실적 재생(counterfactual replay)을 통해 보상을 정교화하여 응답 수준의 성능을 향상시킵니다.

핵심 포인트

• GRPO의 스칼라 보상 방송 문제를 토큰 단위로 해결
• 반사실적 재생(counterfactual replay) 기법 도입
• 응답 수준의 GRPO 성능을 평균 4.4포인트 향상