현장 포착: 프롭(Probes)이 사보타주를 효과적으로 탐지하고 언어화되지 않은 기만을 잡아내는 방법

최근 사건들은 LLM 에이전트를 모니터링하는 어려움과 모델이 사람들을 속일 위험성을 부각시켰습니다. 우리는 프롭(probes)을 이용한 화이트박스(white-box) 기만 탐지 기술이, 지금까지 가장 큰 규모의 기만 데이터셋을 수집하여 프롭 훈련에 사용하고 여러 레이어와 토큰에 걸쳐 정보를 집계할 수 있는 새로운 아키텍처의 프롭을 도입함으로써 최첨단 모니터링 환경까지 확장될 수 있음을 보여줍니다. 우리의 프롭은 SHADE-Arena에서 98.8%의 AUC를 달성하여 Opus 5.5 텍스트 모니터링 기준선을 능가했으며, 기반 모델이 규모를 키울수록 효능이 향상됨을 보여줍니다. 우리의 프롭을 극한까지 밀어붙이기 위해, 우리는 문맥만으로는 기만을 판단할 수 없는 여러 사례에 대해 테스트했습니다. 이러한 경우들을 '성찰적 기만(introspective deception)'이라고 부르며, 이 경우의 정답은 신중한 유도(careful elicitation)나 모델의 훈련 데이터에 대한 철저한 지식 없이는 결정될 수 없습니다. 그러한 평가 중 한 가지에서, 우리는 프롭이 모델의 실제 숨겨진 목표를 포함하는 대본을 다른 목표와 AUC 최대 99.7%로 구별할 수 있음을 보여줍니다. 우리의 프롭은 또한 정치적으로 민감한 주제에 대해 거짓말을 하거나 압박을 받았을 때 자신의 신념에 대해 거짓말을 하는 주요 오픈 웨이트(open-weight) 모델에서도 기만을 쉽게 탐지합니다. 우리는 효과적인 프롭의 최첨단 배포를 돕기 위해 FIBS라는 이름으로 우리의 훈련 데이터셋을 공개하며, 커뮤니티가 기만과 사보타주의 추가 예시로 이를 확장해 나가기를 장려합니다.