모든 루브릭이 동일하게 가르치는 것은 아니다: RLVR을 위한 정책 인식 루브릭 보상 (Policy-Aware Rubric Rewards)

검증 가능한 보상 (verifiable rewards)을 사용하는 강화학습 (Reinforcement Learning, RL)은 정답 여부를 자동으로 확인할 수 있을 때 사후 학습 (post-training)을 매우 효과적으로 만들어 왔습니다. 그러나 많은 중요한 모델 동작들은 한 번에 여러 가지 질적 기준 (qualitative criteria)을 충족해야 합니다. 루브릭 기반 보상 (Rubric-based rewards)은 프롬프트별 기준을 채점하고 이를 스칼라 보상 (scalar reward)으로 집계함으로써 이러한 설정을 다룹니다. 하지만 표준적인 정적 집계 방식은 기준에 대해 인간이 부여한 중요도와 최적화 신호로서의 현재 유용성을 혼동합니다. 우리는 루브릭 RL에서 이러한 가정이 무너진다는 것을 보여줍니다. 즉, 많은 중요한 기준들은 이미 포화 상태이거나 현재 도달 불가능한 반면, 롤아웃 (rollouts)을 구분 짓는 기준이 반드시 인간이 부여한 가중치가 가장 큰 기준인 것은 아닙니다. 우리는 루브릭 목표로서 인간의 가중치와 카테고리 균형을 유지하면서, 학습 과정 동안 기준 수준의 보상 가중치를 조정하는 정책 인식 루브릭 보상 프레임워크인 POW3R을 소개합니다. POW3R은 롤아웃 수준의 대조 (rollout-level contrast)를 사용하여 현재 정책의 출력을 구분하는 기준을 강조하며, 이를 통해 근본적인 평가 대상을 변경하지 않고도 GRPO 보상을 더 유익하게 만듭니다. 멀티모달 (multimodal) 및 텍스트 전용 (text-only) 설정을 아우르는 두 개의 데이터셋에서 세 가지 기본 정책을 대상으로 실험한 결과, POW3R은 30개의 기본 정책/지표 비교 중 24개에서 승리했습니다. 또한 루브릭 보상을 사용하는 바닐라 (vanilla) GRPO에 비해 평균 루브릭 보상과 엄격한 완결성 (strict completion, 응답이 요구되는 모든 루브릭 기준을 충족하는 프롬프트의 비율)을 모두 개선했으며, 2.5~4배 적은 학습 단계만으로 동일한 정체기 (plateau)에 도달했습니다. 따라서 루브릭 보상은 최종 답변에서 무엇이 중요한지와 현재 정책을 학습시킬 수 있는 것이 무엇지를 구분해야 합니다.