AI 제어에서의 재시도(Retrying) 대 재샘플링(Resampling)

Claude Code 및 Codex와 같은 AI 코딩 스캐폴드(scaffolds)는 extit{재시도 (retrying)}를 사용합니다. 즉, 위험하다고 표시된 동작을 차단하고 궤적(trajectory)을 계속 이어가는 방식입니다. 우리는 모델을 잠재적으로 적대적인 존재로 취급하는 AI 제어(AI control) 관점에서 재시도를 연구합니다. 연구 결과, 재시도가 정직한 의심 점수(honest suspicion scores)를 낮추기는 하지만, 신뢰할 수 없는 모델이 모니터의 근거(monitor rationale)를 악용하여 더 교묘한 공격을 구성함으로써 안전성 이득을 상쇄할 수 있음을 발견했습니다. 우리는 또한 동일한 컨텍스트에서 여러 샘플을 추출하는 extit{재샘플링 (resampling)}을 연구하며, 이는 악용 가능한 정보를 유출하지 않습니다. 우리는 기존의 재샘플링 관련 연구들이 하나로 묶어 처리했던 설계 선택지들을 분리하여 분석했습니다. BashArena 환경에서 Claude Opus 4.6을 신뢰할 수 없는 모델로, MiMo-V2-Flash를 신뢰할 수 있는 모니터로 설정했을 때, 단계당 5개의 샘플을 추출하고 최대 의심 점수(maximum suspicion score)를 기준으로 감사(auditing)를 수행하면, 유용성(usefulness)의 손실 없이 0.3%의 감사 예산(audit budget) 내에서 안전성을 61%에서 71%로 높일 수 있습니다. 첫 번째 추출에서 의심스러워 보이는 단계만 선택적으로 재샘플링하는 방식은 추가 샘플을 10%만 더 사용하면서도 이득의 6.2%포인트를 회복합니다. 이 설정에서의 두 가지 발견은 재샘플링에 관한 이전 연구들과 상충합니다. 첫 번째는 재샘플링된 의심 점수 중 최댓값을 기준으로 감사하는 것이 최솟값을 사용하는 것보다 성능이 뛰어나다는 점이며, 이는 Ctrl-Z가 발견한 결과와 정반대입니다. 두 번째는 이전의 defer-to-resample 프로토콜의 핵심 메커니즘인 '가장 의심스럽지 않은 샘플을 실행하는 것'이 우리 설정에서는 아주 작은 실증적 안전성 이득(+3.9%p, 신뢰 구간이 0과 겹침)만을 제공한다는 점입니다.