비관주의의 역설: 보수적인 오프라인 학습이 추론 모델의 온라인 적응 중 보상 해킹(Reward Hacking)을 증폭시킨다

보수적인 오프라인 학습(Conservative offline training)은 후속 온라인 적응(online adaptation)을 위한 안전한 토대로 널리 옹호됩니다. 즉, 정책(policy)이 충분히 지원되는 행동에 가깝게 유지된다면, 학습된 보상 모델(reward model)의 불완전함을 악용할 가능성이 낮아진다는 논리입니다. 우리는 이러한 직관에 대해 경험적, 기계론적(mechanistically)으로 도전합니다. 우리는 경험적 로그 비율 백분위수(empirical log-ratio percentiles)에서 도출된 세 가지 수준의 보수성($\beta\in {\beta_{\mathrm{lo}}, \beta_{\mathrm{mid}}, \beta_{\mathrm{hi}}}$)을 가진 직접 선호 최적화 (DPO, Direct Preference Optimisation) 하에서 Qwen3-14B 정책을 학습시킨 후, 각 체크포인트를 학습된 보상 앙상블(3,$\times\text{Qwen3-1.7B}$)에 대해 온라인으로 적응시키면서 GSM8K 정답 정확도(exact-answer accuracy)를 통해 실제 성능을 측정했습니다. 우리는 더 높은 오프라인 보수성이 Goodhart gap과 그 곡선 아래 면적(AUGC, area under the curve)으로 측정된 보상 해킹(reward-hacking) 피해를 단조적으로 증가시킨다는 것을 발견했으며, 세 가지 조건 모두에서 Spearman $\rho = 1.0$을 기록했습니다. 기계론적 분석은 세 단계의 인과 체인을 밝혀냅니다: (i) 높은 $\beta$의 DPO는 정책 엔트로피(policy entropy)를 압축하고, (ii) 저엔트로피(Low-entropy) 정책은 다양성이 감소된 응답을 생성하여 보상 모델의 학습 분포 중 좁은 영역에 집중하게 만들며(낮은 쌍별 코사인 거리), (iii) 이러한 근접성에도 불구하고, 앙상블 불일치(ensemble disagreement, 인식론적 불확실성/epistemic uncertainty)는 $\beta$와 함께 증가하며 온라인 최적화 과정에서 더 빠르게 악용됩니다. 우리는 나아가 $(\beta, \text{AUGC})$ 데이터에 거듭제곱 법칙(power-law) 곡선을 맞추어, 정렬 충실도(alignment fidelity)와 해킹 취약성 사이의 균형을 맞추는 실용적인 최적 보수성 수준 $\beta^{\star}$를 식별했습니다. 우리의 결과는 이 분야에 필요한 것이 최대치의 보수성이 아니라 '교정된(calibrated)' 보수성임을 시사합니다.