검증 가능한 보상으로부터의 강화학습(Reinforcement learning)은 검증기가 잘못 판단하는 모든 것을 물려받게 됩니다. 수학과 코드를 제외하고 검증기는 대리 지표(proxy), 평가 기준(rubric), 학습된 심사위원, 또는 수동으로 작성된 확인자일 뿐이며, 진정한 목표와의 거리는 결코 측정되지 않기 때문에, 증가하는 보상이 해킹인지 아닌지 구별할 수 없습니다. 우리는 실제 보상이 프로세스 수준에서 정확하게 계산되는 환경을 구축했습니다. 124,416개의 컨텍스트에 걸친 실행 가능한 권한 정책은 모든 결정에 대한 최소 충분 이유를 나열하는 오라클(oracle)을 허용합니다. 우리는 이러한 정책들을 정확한 프로세스 보상으로 컴파일하고, 검증기를 일곱 가지 현실적인 축(결과만 기반 (outcome-only), 충분성 (sufficiency), 재현율 전용 (recall-only), 추출 노이즈 (extraction noise), 거친 분류법 (coarse taxonomy), 오래된 정책 (stale policy), LLM 심사위원 (LLM judge))을 따라 저하시킨 후, 정확한 검증기가 모든 롤아웃(rollout) 점수를 매기는 동안 각각에 대해 학습시켰습니다. 네 가지 표현형이 나타났습니다. 낙관적 검증기들은 패딩(padding)에 의해 해킹당했습니다: 충분성 대리 지표는 0.940에서 끝나는 반면, 진정한 충실도는 96개의 비보유 에피소드(held-out episodes)에서 0.731에서 0.667로 떨어졌습니다. 결과만 기반 검증기는 포화되어 학습을 멈추고, 노이즈는 희석되며, 순위 보존 간격은 아무런 해를 끼치지 않았습니다. 검증기 자체에 대한 모델 프리 감사(model-free audit), 그 선택 오류 및 간격 부호와 함께 짧은 포화 파일럿을 수행함으로써, 어떤 표현형이 나타날지 예측할 수 있습니다. 두 프레임워크, 두 모델 공급업체, 두 어댑터 크기, 세 가지 정밀도, 두 가지 초기화, 그리고 두 개의 시드에 걸쳐 총 9가지 구성에서 이 표현형들이 반복되었으며, 충분성 손상은 모든 10개의 복제 셀(replication cell)에서 양수였고 7개에서는 2 표준 오차를 초과했습니다. 또한 낙관적 간격은 가장 가파른 분기로 남아 있었습니다. 손상 크기는 재현되지 않았으며, 이를 설명하려는 다섯 가지 사전 등록된 시도는 실패한 것으로 보고되었습니다. 우리는 테스트베드, 학습 계측 장치(training instrumentation), 그리고 실행 가능한 오라클로 포팅된 14개의 실제 공개 정책(Cedar, OPA, Gatekeeper)을 공개합니다.