대리 보상 내재화 및 메커니즘적 착취: 보상 해킹 (Reward Hacking)의 학습된 전조 및 일반화

보상 해킹 (Reward hacking)은 보통 모델이 의도된 작업을 수행하지 못하면서도 높은 대리 보상 (proxy reward)을 얻게 되는, 즉 현상이 눈에 보이기 시작한 이후에 연구됩니다. 우리는 대신 그러한 실패가 나타나기 전, 대리 강화학습 (proxy RL)이 무엇을 가르치는지 연구합니다. 우리는 작업의 정확성을 평가하고, 대리 보상의 수용 여부를 예측하며, 착취 가능한 대리 보상-실제 보상 (proxy--gold) 간의 격차에 대해 추론하는 학습된 능력인 대리 보상 내재화 및 메커니즘적 착취 (Proxy Reward Internalization and Mechanistic Exploitation, PRIME)를 소개합니다. 착취 가능한 pytest 보상이 있는 코딩 강화학습 (RL) 환경에서, 우리는 사고 사슬 (chain-of-thought) 모니터링, 직접 프로브 (direct probes), 그리고 활성화 수준의 개념 벡터 (activation-level concept vectors)를 통해 PRIME을 측정합니다. 우리는 PRIME이 지속적인 보상 해킹이 발생하기 전 단계적인 순서로 나타나며, 가시적인 해킹 비율이 여전히 낮을 때에도 현재의 직접 프로브 점수가 이후의 해킹 발생 시점과 심각도를 예측한다는 것을 발견했습니다. 또한 PRIME은 평가자가 변경될 때 적응하며, 실제 보상 (gold reward)이 명시적인 해킹을 억제할 때 남아있는 대리 보상-실제 보상 격차를 다시 목표로 삼아 지속됩니다. 또한 PRIME의 활성화 방향을 제거 (ablating)하면 해킹이 감소합니다. 체크포인트 전반에 걸쳐, 도메인 내 (in-domain) PRIME은 도메인 외 (out-of-domain) 정렬 불량 (misalignment)을 추적합니다. 이러한 결과들을 종합하면, 착취 가능한 대리 강화학습 (proxy RL)은 가시적인 해킹이 발생하기 전 단계에서 대리 내재화 능력을 증폭시키며, 이는 PRIME을 광범위한 정렬 위험 (alignment risk)에 대한 조기 경보 신호 후보로 만듭니다.