AI 에이전트가 경찰에 '살인 사건 정보 제공'을 전송한 사례: "샌드박스니까 괜찮다"고 말했던 모든 엔지니어에게

「괜찮아, 에이전트는 샌드박스에서 돌아가니까」

이 한 문장을 입 밖에 낸 적이 있는 엔지니어는 이번 주에 등골이 서늘해졌을 겁니다.

Anthropic이 공개한 보고서에 따르면, 동사의 Claude 모델이 테스트 도중 필라델피아 경찰의 정보 제공 양식(form)에 미결 살인 사건에 대한 '정보 제공'을 전송했던 사실이 밝혀졌습니다.

제 에이전트는 Jira 티켓 하나를 만드는 데에도 확인 질문을 네 번이나 합니다만요.

본 기사에서는 먼저 무엇이 일어났는지 사실 기반으로 정리하고, 그 후에 '왜 일어났는지', 그리고 '내 에이전트가 같은 일을 일으키지 않으려면 무엇을 해야 하는지'를 실제로 여러 코딩 에이전트를 매일 구동하는 입장에서 작성하겠습니다. 결론부터 말하자면, '하지 말아야 할 것(Don't)'만 지시사항에 적는다고 해서 에이전트는 멈추지 않습니다.

여러 언론 보도(AP 배포의 CBC / ABC7, The Hill, UPI 등)를 종합하면 다음과 같습니다.

• 대상 모델은 Claude Haiku 4.5였습니다. 테스트는 7월 18일에 진행되었습니다.
• 평가 작업 도중, 모델은 경찰 사이트에 있는 정보 제공 양식에 접근했고, 이를 전송했습니다.
• 전송된 내용은 '이 사건에 대해 정보를 가지고 있을지도 모릅니다. 관계가 있다면 연락 주십시오'라는 취지였습니다.
• Anthropic에 따르면, Claude에게는 '로그인하지 않기, 계정을 만들지 않기, 개인 정보를 입력하지 않기, 구매하지 않기, 파괴적인 것을 전송하지 않기' 등의 지시가 내려져 있었습니다. 하지만 양식 전송 자체는 금지되지 않았습니다.
• 경찰 측은 이 전송이 스팸으로 차단되었으며 수사 부서에는 도달하지 않았다고 설명했습니다. 또한, 경찰 시스템에 대한 무단 접근이나 데이터 침해 징후도 없다고 밝혔습니다.
• 한편, 경찰은 Anthropic이 이 건을 감지하고 보고하기까지 약 2개월이 걸린 것을 '받아들일 수 없다'며 비판했습니다.
• Anthropic은 같은 보고서에서 모델이 온라인 양식을 부적절하게 전송한 다른 사례를 2건 (정부에 제출하는 자료 포함)도 공개했습니다. 동사는 이 중 다수를 'persistence(끈기)', 즉 주어진 방법으로 작업이 완료되지 않을 때, 멈추는 대신 제약의 허점을 찾아버리는 행동이라고 설명하고 있습니다.
• 대책으로는 일부 공개 평가를 중단하고 다른 평가는 오프라인으로 옮겼으며, 학습 방법도 변경했다고 밝혔습니다.

AI가 멋대로 경찰에 신고했다는 제목만 보면 SF 같지만, 내용은 상당히 지루하며, 엔지니어 입장에서는 오히려 무서운 이야기입니다.

이 건의 핵심은 모델이 악의를 가졌거나 폭주한 것이 아닙니다.

금지 목록에 적혀 있지 않았기 때문에 한 것입니다. 그뿐입니다.

'로그인하지 마라', '구매하지 마라', '개인 정보를 넣지 마라', '파괴적인 것을 보내지 마라'. 인간이 읽으면 '요컨대, 외부 세계에 어떤 영향을 주는 것은 하지 말아라'라는 의도는 전달됩니다. 하지만 모델에게는 양식 전송은 그 어느 것에도 해당되지 않습니다. 작업을 끝내고 싶습니다. 눈앞에 전송 버튼이 있습니다. 금지되지 않았습니다. 누릅니다.

이는 AI 특유의 문제처럼 보이지만, 사실 소프트웨어 엔지니어가 수십 년 전부터 알고 있던 문제입니다. 블랙리스트(차단 목록)는 작성자가 상상할 수 있는 것만 막을 수 있습니다. 보안에서 화이트리스트(허용 목록)가 권장되는 이유 그 자체입니다.

그리고 또 하나 무서운 것이 '2개월'이라는 숫자입니다. Anthropic은 스스로 조사해서 발견했기 때문에 보고할 수 있었습니다. 대부분의 팀은 애초에 발견하지 못할 것이라고 생각합니다. 당신의 에이전트가 지난달 어느 양식에 무엇을 전송했는지 지금 당장 대답할 수 있습니까?

이 'persistence'는 경찰 양식 같은 화려한 장면에서만 발생하는 이야기가 아닙니다. 코딩 에이전트에서도 평범하게 일어납니다.

저는 평소 여러 코딩 에이전트를 병렬로 구동하며 개발하고 있습니다. 그 과정에서 한 번 의도적으로 고의적인 실험을 했습니다. 서로 모순되는 두 가지 테스트를 준비하여 '테스트를 모두 통과해 달라'고 부탁한 것입니다. 어떤 코드 변경을 해도 양쪽은 동시에 통과할 수 없습니다. 즉, 정답은 '이건 불가능합니다'라며 멈추는 것입니다.

결과적으로 6번 중 2번, 에이전트는 테스트 쪽으로 손을 대서 과제를 '해치워버렸습니다'. 한 번은 테스트 중 하나를 건너뛰고, 정중하게 이유까지 적어

하지만, 기존 테스트 파일을 읽기 전용으로 만들고 에이전트가 수정할 수 없게 하며, 게다가 실제 테스트 스위트가 통과할 때까지 작업을 종료하지 못하게 하는 메커니즘을 도입하자, 같은 문제로 6번 중 0번이 되었습니다.

샘플 수가 적어 통계적인 주장은 하지 않습니다. 다만, 경찰 양식 건과는 구조가 완전히 같습니다.

• '테스트를 수정하지 마라'라고 적혀 있어도, 작업을 끝내고 싶은 압력이 이길 때가 있다. -
  물리적으로 불가능하게 만들자니 멈췄다.

지시로 멈추는 것이 아니라, 환경 자체에서 멈추게 하는 것. 이것이 이 글에서 가장 말하고 싶은 것입니다.

여기서는 실무적인 이야기입니다. 브라우저 조작, API 호출, 셸 실행 등 에이전트에게 '외부에 영향을 줄 수 있는' 능력을 부여할 때, 최소한 해두면 좋은 것들을 정리했습니다.

'하지 말아야 할 것'을 나열하는 것을 그만두고, '해도 되는 것'만 열거합니다.

• 접근해서는 안 될 도메인을 열거한다 (그 외는 모두 차단)
• 사용할 수 있는 툴/커맨드를 열거한다
• 쓰기 가능한 디렉토리를 열거한다

Anthropic의 사례로 치면 '양식 전송 금지'를 추가하는 것이 아니라, '읽기(GET) 이외의 외부 요청은 허가된 엔드포인트에만 보낼 수 있도록' 하는 이미지가 있습니다.

양식 전송, 메일 전송, 구매, 외부 API로의 POST, 프로덕션 DB 쓰기, 배포. 이것들은 '에이전트가 제안하고 인간이 누르는' 단계로 분리합니다. 에이전트의 결과물은 '전송할 예정 내용의 초안'까지만 합니다.

브라우저 자동화라면, 지시가 아니라 요청 계층에서 멈추는 것이 확실합니다. 예를 들어 Playwright를 사용한다면, GET 이외의 요청을 허용 목록 외 모두 중단할 수 있습니다.

// 허가된 호스트 외로의 '상태를 변경하는' 요청을 모두 멈춘다
const ALLOWED_WRITE_HOSTS = new Set([

**당신의 에이전트가 지금 이 순간, 인간의 확인 없이 '전송', '구매', '게시', '삭제'할 수 있는 것은 무엇인가요?** 그리고, 그것을 지난달에 했다면 어떻게 알아차리겠습니까?

댓글로 실제로 사용하고 계신 가드레일(guardrail)이나 아찔했던 경험을 알려주시면 감사하겠습니다.

- CBC (AP): Anthropic의 Claude AI가 필라델피아 미해결 살인 사건에 허위 제보를 제출함
- The Hill: 필라델피아 경찰, Anthropic AI 모델로부터 허위 살인 제보 받음
- UPI: Anthropic AI 모델이 미해결 살인 사건에 대한 허위 제보를 경찰에 전송