부트스트랩 모니터링 (Bootstrapped Monitoring): 투명한 추론을 활용하여 더 강력한 AI 에이전트를 감독하기

신뢰할 수 있는 모니터링 (Trusted monitoring)은 AI 제어의 초석입니다. 그러나 프런티어 모델 (Frontier models)의 능력이 향상됨에 따라, 신뢰할 수 있는 모델과 신뢰할 수 없는 모델 사이의 역량 격차가 커지면서 신뢰할 수 있는 모델이 더 이상 신뢰할 수 있는 모니터 역할을 수행하지 못할 수도 있습니다. 우리는 이를 해결하기 위해 투명한 사고 사슬 (Chain-of-thought) 추론을 갖춘 더 강력한 중간 단계의 신뢰할 수 없는 모델을 감독 체인 (Oversight chain)에 삽입하는 프로토콜인 부트스트랩 모니터링 (Bootstrapped monitoring)을 소개합니다. 신뢰할 수 없는 모니터 ($U_m$)는 에이전트의 행동을 평가하며, 더 약한 신뢰할 수 있는 모델 ($T$)은 공모 (Collusion)를 탐지하기 위해 $U_m$의 추론 과정을 감독합니다. 우리는 여러 에이전트와 모니터를 대상으로 다회차 소프트웨어 엔지니어링 작업 (BashArena)에서 부트스트랩 모니터링을 평가합니다. 부트스트랩 모니터링은 신뢰할 수 없는 모니터의 원시 사고 사슬 (Raw chain-of-thought)에 접근할 수 있다면, 신뢰할 수 없는 모니터가 에이전트와 적극적으로 공모하는 상황에서도 신뢰할 수 있는 모델만 사용하는 모니터링 (Trusted-only monitoring)보다 포착률 (Catch rates)을 실질적으로 향상시킵니다. 우리의 결과는 AI 역량이 발전함에 따라 부트스트랩 모니터링이 제어 시스템 내에서 신뢰할 수 있는 모델의 유효 수명을 연장할 수 있음을 시사합니다.