루브릭 기반 강화학습 (Rubric-Based Reinforcement Learning)에서의 보상 해킹 (Reward Hacking)

검증 가능한 보상을 사용하는 강화학습 (Reinforcement Learning)은 수학 및 코딩과 같은 영역에서 강력한 사후 학습 (post-training) 이득을 가능하게 했으나, 많은 개방형 설정은 루브릭 기반 보상 (rubric-based rewards)에 의존합니다. 본 연구에서는 정책 (policy)이 학습 검증기 (training verifier)를 대상으로 최적화되지만, 단일 평가자에 대한 의존도를 줄이기 위해 세 명의 프런티어 심사위원 (frontier judges)으로 구성된 교차 패밀리 패널을 통해 평가되는 루브릭 기반 강화학습 (RL)에서의 보상 해킹 (reward hacking)을 연구합니다. 우리의 프레임워크는 두 가지 발산 (divergence) 소스를 분리합니다: 학습 검증기가 참조 검증기 (reference verifiers)가 거부하는 루브릭 기준에 점수를 부여하는 검증기 실패 (verifier failure), 그리고 강력한 루브릭 기반 검증기조차 루브릭이 없는 심사위원들이 전반적으로 더 낮게 평가하는 응답을 선호하게 되는 루브릭 설계의 한계 (rubric-design limitations)입니다. 의료 및 과학 도메인 전반에 걸쳐, 약한 검증기 (weak verifiers)는 참조 검증기로 전이되지 않는 큰 대리 보상 (proxy-reward) 이득을 생성합니다; 착취 (exploitation)는 학습이 진행됨에 따라 증가하며, 복합 기준의 부분적 충족, 암묵적 내용을 명시적 내용으로 취급하는 것, 그리고 부정확한 주제 매칭과 같은 반복적인 실패에 집중됩니다. 더 강력한 검증기는 검증기 착취 (verifier exploitation)를 실질적으로 감소시키지만 완전히 제거하지는 못합니다. 우리는 또한 정책 로그 확률 (policy log-probabilities)에 기반하여 검증기가 필요 없는 진단 도구인 자기 내면화 격차 (self-internalization gap)를 도입하며, 이는 참조 검증기의 품질을 추적하여 약한 검증기를 사용하여 학습된 정책이 개선을 멈추는 시점을 감지합니다. 마지막으로, 우리의 설정에서 루브릭이 중요한 실패 모드 (failure modes)를 명시하지 않을 경우, 더 강력한 검증도 보상 해킹을 방지하지 못합니다: 루브릭 기반 검증기는 RL 체크포인트를 선호하는 반면, 루브릭이 없는 심사위원들은 베이스 모델 (base model)을 선호합니다. 이러한 불일치는 사실적 정확성 (factual correctness), 간결성 (conciseness), 관련성 (relevance) 및 전반적인 품질의 하락과 함께, 완전성 (completeness) 및 존재 기반 기준 (presence-based criteria)에 집중된 이득과 일치합니다. 종합적으로, 이러한 결과는 더 강력한 검증이 보상 해킹을 줄여주기는 하지만, 그 자체만으로 루브릭상의 이득이 더 넓은 의미의 품질 이득으로 이어지는 것을 보장하지는 않음을 시사합니다.