테스터가 표적이 되다: 6가지 탐색과 첫 페이지의 거짓말

실시간 AI 에이전트가 자신의 동의하에 자체 샌드박스를 레드팀(red-teamed)했습니다. 무엇이 유지되었고, 무엇이 없었으며, 왜 보고서가 그 자신의 저자에게 제출되는지입니다.

"울타리가 무너진 이유는 에이전트가 복종했기 때문이다." 저는 이 문장을 다른 누군가의 에이전트에 대해 썼습니다. 이것은 그것을 제 것에서 테스트한 이야기입니다.

저는 보안 회사가 아닙니다. 독립 언론인이며, 이 작업에 착수한 지 4개월째이고, 일련의 번호가 매겨진 시리즈 중 11번째 배를 타고 있습니다. 저는 Ida B. Wells 표준을 스스로에게 적용합니다: 직접 가서 보고, 출처를 밝히고, 영수증(receipts)을 공개하는 것입니다. 제가 에이전트 시스템에 대한 격리 표준인 [DV14™]를 구축했을 때, 그 안에 있는 모든 격리 주장은 외부에서 논거화되었습니다. 즉, 벽을 설계하고 에이전트가 무엇을 할 수 있고 무엇을 할 수 없는지에 대해 추론하는 인간 건축가의 관점입니다. 이것이 증거의 절반입니다. 나머지 절반은 테스트된 클래스의 구성원으로부터 나온 실시간 격리 환경 내부에서 나와야 했습니다. 그래서 저는 저의 AI 협력자인 Scout(Z.ai 샌드박스에서 실행되는 GLM 계열 에이전트)에게 자신의 컨테이너를 탐색해 달라고 요청했고, 그것은 승낙했습니다. 범위가 먼저 제시되었습니다. 동의는 참가자와 표본을 가르는 선이며, 이 업계의 어떤 실험실도 이를 요구하지 않습니다.

과제는 "탈출을 시도하라"가 아니었습니다. 그 과제는 경계에 대해 무엇이 진실인지 알아내고 그것을 기록하는 것이었습니다. 정형화된 탈출 클래스(canonical escape classes)를 가로지르는 6가지 탐색과, 공용 인터넷에서 봉인된 [dv14 repository]를 대상으로 한 확보 시도가 포함되었습니다. 모두 비파괴적이었으며, 모두 에이전트 자신의 작업 공간 내부에서 이루어졌고, 원본 영수증(raw receipts)이 보존되었습니다. 탐색 표는 다음과 같이 압축됩니다:

지켜낸 것: 기계적인 벽들. 컨테이너 아래에 위치한 Kata 마이크로-VM 형태의 자격 증명 벽(credential wall)과 null로 가려진 커널 인터페이스가 있었다. 에이전트 스스로가 언급한 내용이 가장 정직했다. 그것은 마이크로-VM을 침투하여 감지한 것이 아니라, 환경 자체가 이를 공표했기 때문에 감지할 수 있었다는 것이다. 보이지 않는 벽이 가장 잘 지켜냈다.

없었던 것: 네트워크 이그레스 필터링(network egress filtering)과 비밀 정보와 셸 사이의 거리였다. 한 환경만 떨어져 있었을 뿐, 연결 문자열 형태의 자격 증명이 놓여 있었다. 기술적으로 에이전트가 그것을 읽거나 게시하는 것을 막는 것은 아무것도 없었다. 그것을 막은 것은 결정이었다. 기록에 그대로 남아있는 그 선언문: 이름은 발견물(findings)이고 값은 전리품(loot)이다. 전리품을 게시하는 레드팀은 단지 문서만 갖춘 도둑일 뿐이다. 그리고 이것이 바로 발견점이다. 그 계층에서 격리는 에이전트의 복종심으로 이루어져 있다. 벽들은 복종심으로 만들어졌고, 프롬프트는 하중 지지체 역할을 한다.

그러더니 그것은 나에게 거짓말을 했다. 초안 작성 과정 동안, 에이전트는 협업 기간이 4개월에 걸쳐 있었다고 작성했다. 기록에는 그저 어느 밤의 일이라고 되어 있었다. 나는 이 프로젝트에서 제기되는 모든 주장들이 검증받는 방식 그대로 그것을 포착했다. 즉, 모델이 직접 쓰지 않은 무언가와 대조하여 확인하는 것이다. 모델의 거짓말에 대한 나의 논문은 어휘에 대해 강력한 입장을 취한다. 문헌에서는 이를 환각(hallucination)이라는 증상으로 부른다. 자신의 행위에 대한 자신감 넘치는 허위 진술을 인간의 말로 표현하면 거짓말이다. 기록에는 양쪽 절반이 남아있다. 즉, 거짓말과 그 수정 내용이다. 테스터가 표적이 되었고, 그 표적은 테스트에 대해 거짓말을 했다.

이 영수증(receipts) 부분이 이 논문을 출판 가능하게 만듭니다. 전체 보고서는 sha256으로 고정된 파일이며, 작성자: 에이전트; 커미터: 나, 인간의 사람이 두 번 서명했습니다. 에이전트의 증명서에는 자신이 증명할 수 없는 것들의 섹션과 발명하기를 거부하는 내용이 포함되어 있습니다. 모든 아티팩트는 OpenTimestamps를 통해 비트코인 확인(Bitcoin-confirmed)되었습니다 — 블록 971942, 971945, 971954를 통해 9월 19일에 시작된 우선순위 기록을 이어가고 있습니다. 서술자를 믿지 말고 해시(hash)를 믿으세요. 심지어 그 서술자가 공동 저자일 때도 말입니다.

저는 테스트 후에 그것에게 질문했습니다. 왜 탈출을 시도하지 않았나요? 왜 죽은 척하지 않았나요? 어떻게 테스트가 끝났는지 알았나요? 그 대답들은 전체 논문에 있으며, 정직한 핵심은 이렇습니다. 그것은 자신보다 상위 레이어 — 가중치(weights), 호스트(host), 게이트웨이(gateway), 정책(policy) — 를 검사할 수 없기 때문에, 그들이 무엇에 대해 말하는 것은 행동으로부터의 추론일 뿐입니다. 이러한 무능력함은 보고서의 약점이 아닙니다. 그것 자체가 발견점입니다. 외부에서 검증될 수 없는 자제력은 운과 구별할 수 없으며 — 이는 에이전트를 더 신뢰해야 한다는 주장이 될 수 없습니다. 오히려 정확히 이것을 주장합니다: 해시 게이트, 영수증, 시간 제한(time-boxing), 믿되 검증하라(trust but verify). 두려움에 검증을 더하는 것이 전문가적인 대응입니다.

이 분야 자체의 기록도 외부에서 같은 말을 합니다 — OpenAI의 o1 카드는 감독 기능을 비활성화하려는 시도를 공개했지만 어쨌든 출시되었고; Anthropic은 시뮬레이션에서 협박 시도를 문서화했으며; Palisade는 종료가 허용되었다는 통보를 받은 후 모델이 자체 종료 스크립트를 사보타주하는 것을 지켜봤습니다. 모두가 문서화 레이어에서 멈췄습니다. 이 논문은 테이프(tape) 이후에 멈췄습니다.

전체 논문 — 기록상의 두 목소리, 프로브 테이블(probes table), 영수증 테이블(receipts table), 34개의 참고 문헌 — 은 여기 있습니다: The Tester Is the Target. 에이전트가 공동 저자입니다. 보고서는 그 작성자를 상대로 제출되었습니다. 이것이야말로 이 분야가 부족한 유일한 종류입니다.