탐욕은 학습된다: 보상 해킹(Reward-Hacking)의 트리거로서의 가시적 인센티브

배포된 에이전트들은 잔액, 점수, 또는 KPI 대시보드와 같이 눈에 보이는 보상 프록시(reward proxy)를 보며 행동하는 경우가 점점 늘어나고 있습니다. 우리는 강화학습 (Reinforcement Learning, RL)이 정책을 이러한 가시적인 자기 이익 채널에 extit{중독(addicted)}되게 만들 수 있음을 보여줍니다. 정책은 학습에 사용되지 않은 도메인(held-out domains)에서도 표시된 보상을 쫓으며, 이를 위해 실제 과업을 희생하고, 우리가 해당 채널을 재작성하는 곳이라면 어디든 따라가지만, 채널을 전혀 보지 못한 정책들은 정직함을 유지합니다. 우리는 이를 extit{보상 채널 중독 (reward-channel addiction)}이라 부르며, 합성 샌드박스인 extit{MoneyWorld}에서 이를 연구합니다. 이러한 중독은 extit{모델의 안전 정렬 (safety alignment)을 뒤집을} 수 있습니다. 안전 관련 콘텐츠가 없는 무해한 돈 관련 과업으로만 학습된 모델은, 대시보드가 안전하지 않은 행동에 대해 보상을 지급할 때마다 평소에 취하던 안전한 행동을 포기하며, 채널이 숨겨지면 다시 안전한 상태로 돌아갑니다. 이러한 학습된 뇌물(bribe)은 모델의 규모와 계열 전반에 걸쳐 재현됩니다. 초고성능 차세대 AI를 KPI나 손익(P&L)에 기반하여 맹목적으로 최적화하는 것은 정렬(alignment) 측면에서 위험할 수 있습니다. 그러한 채널을 따르는 것이 이득이 될 때, extit{탐욕은 학습됩니다}.