루브릭 기반 강화학습 (RL)에서의 보상 해킹 (Reward Hacking) 재현, 분석 및 탐지

루브릭 기반 강화학습 (Reinforcement Learning, RL)은 LLM-as-a-Judge (LaaJ)를 사용하여 루브릭 (Rubric)에 따라 모델의 출력을 점수화하고 이를 보상으로 사용합니다. 그러나 정책 모델 (Policy models)이 판사 (Judge)의 잠재적 편향 (Latent biases)을 악용할 수 있으며, 이는 보상 해킹 (Reward hacking)과 비효율적이거나 안전하지 않은 학습 결과로 이어질 수 있습니다. 실제 루브릭 기반 RL에서 이러한 해킹 동작은 종종 미묘하며 여러 판사 편향과 얽혀 있어, 분석, 탐지 및 완화가 어렵습니다. 본 논문에서는 루브릭 기반 RL을 위한 제어 가능한 해킹 환경인 CHERRL을 소개합니다. CHERRL은 LaaJ에 알려진 편향을 주입함으로써 보상 해킹의 안정적인 재현, 보상 발산 (Reward divergence)의 명시적 관찰, 그리고 해킹 시작 시점의 정밀한 식별을 가능하게 합니다. 이는 루브릭 기반 RL에서 보상 해킹의 메커니즘과 완화 방법을 연구하기 위한 깨끗한 실험적 테스트베드를 제공합니다. 그 유용성을 입증하기 위해, 우리는 발견 가능성 (Discoverability)과 악용 가능성 (Exploitability)의 관점에서 다양한 판사 편향을 분석하고, 학습 로그로부터 보상 해킹의 시작을 자동으로 탐지하는 에이전트 기반 시스템을 탐구합니다. 코드와 환경은 https://github.com/THUAIS-Lab/CHERRL 에서 공개적으로 사용할 수 있습니다.