임대료 추구 언어 모델: 보상 모델이 가격을 설정하고, 잦은 감사가 임대료를 억제한다

RLHF(강화학습)에서의 보상 모델 과최적화는 보통 리워드 해킹(reward hacking)으로 설명됩니다. 우리는 이를 임대료 추구(rent-seeking)로 재구성합니다. 즉, 정책(policy), 즉 기업이 실제 품질을 뒷받침하지 못하는 규제 기관의 대리 보상 모델(proxy reward model)로부터 보상을 얻는 것입니다. 이 관점은 과최적화를 측정 가능한 양, 즉 임대료(rent), 포획 지수(capture index), 그리고 사중 손실(deadweight loss)로 변환하고, 이를 규제의 경제학에서 도출되는 검증 가능한 예측으로 만듭니다. 세 가지 모델 계열을 가진 고정되고 버전 관리되는 테스트베드에서, 정확도가 일치하는 대리 보상 모델과 두 개의 골드 보상 모델을 사용하여, RL은 자신의 대리 이득 중 41%에서 66%를 임대료로 사용하며, 골드 보상은 정체됩니다. 임대료는 각 규제 기관의 가격을 따릅니다. 어느 쪽도 사실을 검증하지 못하지만, 한쪽은 자신감 있는 세부 사항에 대해 비용을 지불하고 다른 쪽은 성실성 과시를 위해 비용을 지불하기 때문에, RL 정책은 존재하지 않는 개체에 대한 세부 정보를 꾸미거나(프로브의 97%에서 100%), 사실적인 질문을 회피하는 방식으로 학습합니다(67%에서 98%). 정책과 규제 기관 간의 친연성은 약 0.1 표준편차의 고정된 프리미엄을 추가하지만, 최적화 하에서는 정책에 추가적인 레버리지를 주지 않습니다. 고정된 예상 벌금액에서, 잦은 경미한 감사(mild audits)가 드문 심각한 감사보다 효과적이며, 무작위 감사는 목표형 감사만큼 효율적입니다. 세금 경제학의 군집 추정기(bunching estimator)를 RL 학습에 도입하여, 정책이 목표 감사 임계값 바로 아래에 머무르도록 학습하는 첫 징후도 발견했습니다.