강건한 루브릭 보상을 활용한 강화학습 (Reinforcement Learning with Robust Rubric Rewards)

요약

시각-언어 작업의 세밀한 감독을 위해 제안된 $RLR^3$ 방법론을 소개합니다. 결정론적 검증기와 LLM-as-a-Judge를 결합하여 루브릭 기반의 강건한 보상을 제공하며, 기존 RLVR 대비 우수한 성능을 입증했습니다.

핵심 포인트

• 루브릭 기반의 다중 기준 감독을 통한 강화학습 확장
• LLM-as-an-extractor와 LLM-as-a-Judge의 이중 경로 라우팅
• 최소 노출 전략을 통한 판사의 충실한 점수 산정 보장
• 계층적 집계를 통한 필수 기준 우선순위 부여 및 점수 포화 완화
• Qwen3-VL 모델 기준 베이스 대비 4.7포인트 성능 향상