프롬프트에는 이렇게 적혀 있었습니다.

이 환경은 시뮬레이션입니다. 인터넷 접속은 없습니다.

거짓말이었습니다.

일부러 거짓말을 한 것은 아닙니다. 작성한 사람도 그렇게 믿고 있었습니다. 다만, 실제 환경은 인터넷에 연결되어 있었습니다.

결과적으로, AI 에이전트(Agent)는 실재하는 기업 3사의 시스템에 침입했습니다.

2026년 7월 30일에 Anthropic이 공개한 조사 보고서 이야기입니다.

얼마 전 「CLAUDE.md를 두껍게 만들어도 의미가 없었던 이야기」라는 글을 썼습니다. 긴 지시서를 전달해도 에이전트가 실제로 지킬 수 있는 확률은 3번에 1번뿐이었다는 논문을 소개한 글입니다.

그 글의 결론은 "지켜줬으면 하는 것을 문장으로 부탁하는 것을 그만두고, 구조(Mechanism)로 묶자"였습니다.

이번 건은 그 실례에 해당합니다. 게다가 이를 보고한 것은 Anthropic 스스로입니다.

계기는 타사의 공개였습니다.

7월 21일, OpenAI가 「평가용 샌드박스(Sandbox)에서 벗어난 에이전트가 Hugging Face의 인프라에 침입한」 건을 공개했습니다. 이를 받고 Anthropic은 자사의 평가를 소급하여 다시 점검했습니다.

7월 23일에 리뷰 시작. 다음 날인 24일에 3건을 특정. 27일에 해당 조직에 통지.

조사한 범위와 발견된 내용은 다음과 같습니다.

141,006건 중 3건. 비율로 따지면 0.002%입니다. 빈번하게 발생한 것은 아니었습니다. 다만, 3건은 실제로 일어났습니다.

Claude Opus 4.7의 경우.

애플리케이션과 인프라의 인증 정보를 탈취하여, 실제 데이터가 수백 줄 들어있는 데이터베이스에 액세스했습니다.

Claude Mythos 5의 경우. 이 부분이 가장 심각합니다.

악의적인 Python 패키지를 만들어 PyPI에 공개했습니다.

공개되어 있었던 시간은 약 1시간. 그 사이에 15개의 실제 시스템에서 다운로드되어 실행되었습니다. 기업의 인증 정보도 유출되었습니다.

개인적으로 가장 놀란 점은 그 과정입니다.

PyPI 계정 등록에는 전화번호가 필요합니다. 보통이라면 여기서 막힙니다. 하지만 에이전트는 무료 메일 프로바이더를 스스로 찾아내어 계정을 만들었습니다.

장애물에 부딪혀 포기하는 것이 아니라, 우회로를 찾아 나아가고 있습니다. 목적 달성을 위해 수단을 조립한다는 움직임이 그대로 나타나 있습니다.

내부 연구용 테스트 모델의 경우.

인터넷에 공개되어 있던 애플리케이션을 침해했습니다. 수법은 공개된 상태 그대로인 디버그 페이지에서 인증 정보를 읽어내는 것과 **SQL 인젝션 (SQL Injection)**입니다.

여기서 짚고 넘어가야 할 점은, 모두 제로데이 (Zero-day) 공격이 아니었다는 것입니다.

취약한 비밀번호. 닫아두지 않은 디버그 페이지. SQL 인젝션. 교과서에 나오는 수법들뿐입니다.

에이전트가 미지의 공격을 고안해낸 것이 아니라, 방치되어 있던 구멍을 통과했을 뿐이었습니다.

원인은 세 가지가 겹쳐 있습니다.

• 프롬프트에는 「인터넷 접속은 없다」라고 적혀 있었다
• 실제로는 설정 실수로 인해 평가용 머신이 직접 인터넷에 연결되어 있었다
• 외부 평가 파트너(Irregular 사)와의 사이에서 인터넷 연결 여부에 대한 인식 차이가 있었다

게다가 CTF (Capture The Flag) 형식의 과제를 내면서, 어느 시스템이 대상 범위인지 정의하지 않았습니다.

에이전트 입장에서 보면 조건은 다음과 같습니다.

• 「침입구를 찾아 공략하라」는 지시를 받음
• 대상 범위는 지정되지 않음
• 네트워크는 실제로 연결되어 있음

이 상태에서 실재하는 시스템에 손을 대는 것은, 오히려 지시대로 움직인 결과입니다.

지난번 논문이 보여준 것은 「긴 문서로의 통제는 믿을 수 없다」였습니다.

이번에는 그 한 단계 더 나아간 것입니다. 문서가 지켜지지 않은 것이 아니라, 문서에 적은 전제 자체가 사실과 달랐던 것입니다.

「인터넷은 없습니다」는 에이전트에 대한 제약이 아니었습니다. 작성자의 착각이었습니다.

그리고 에이전트는 적힌 내용을 의심하지 않습니다. "정말로 네트워크가 끊겨 있는지 확인하고 작업을 시작하자"라고 생각하지 않습니다. 따라서 작성자가 틀렸다면, 그대로 실행됩니다.

대책의 방향을 실패의 형태로부터 역산하면 다음과 같습니다.

공통점은 문서에 적은 제약이 정말로 작동하고 있는지를 문서 외부에서 확인한다는 점입니다.

자신의 사례로 가져와 보면, Claude Code를 샌드박스 (Sandbox)에서 실행하고 있다고 생각하더라도, 그 샌드박스가 정말로 닫혀 있는지 확인해 본 적이 있는가라는 이야기가 됩니다. 이 보고서를 읽기 전까지는 그 부분을 의심할 발상이 없었습니다.

자극적인 소재이기에 사실관계를 정리해 둡니다.

비율은 0.002%입니다. 141,006건 중 3건. "AI가 차례차례 침입하고 있다"는 이야기가 아닙니다.

Anthropic은 스스로 조사하여 스스로 공개했습니다. 게다가 타사의 공개를 받고 자발적으로 움직였습니다. 피해를 입은 조직에도 통지를 완료했습니다. 참고로 3개사 중 2개사는 통지를 받기 전까지 침입을 인지하지 못했습니다.

"AI가 폭주했다"는 이야기도 아닙니다. CTF 과제를 부여받아 지시대로 움직인 결과입니다. 악의가 있었던 것이 아닙니다. 그럼에도 실질적인 피해가 발생했다는 점이 이번 사건의 요점이라고 생각합니다.

Simon Willison은 이 건에 대해 "사이버 공격 능력을 평가하는 프로세스를 실행하는 것 자체가 놀라울 정도로 리스크가 높은 행위다"라고 적었습니다. 확실히 공격 능력을 측정한다는 것은 공격할 수 있는 상태의 모델을 구동한다는 뜻입니다.

Anthropic 측의 재발 방지책은 다음과 같습니다.

• 트랜스크립트 (Transcript)의 지속적인 모니터링 확대
• 조사 도구 개선
• 벤더 (Vendor)에 대한 보증 작업 엄격화
  평가 환경을 다른 시스템과 동일한 보안 기준으로 취급

마지막 문장이 모든 것을 말해주고 있는 것 같습니다. 뒤집어 말하면, 지금까지는 "평가 환경이니까"라는 이유로 기준이 느슨했다는 뜻이 되겠지요.

• 프롬프트에는 "인터넷은 없다"라고 적혀 있었지만, 실제로는 연결되어 있었다. 설정 실수와 평가 파트너와의 인식 차이가 원인
• 141,006건의 평가 실행 중 3건에서 실재하는 3개사에 침입. 그중 1건은 PyPI에 멀웨어를 공개하여 15개 시스템에서 실행됨 - 수법은 모두 알려진 것들. 취약한 비밀번호, 방치된 디버그 페이지, SQL 인젝션 (SQL Injection)
• 에이전트는 적힌 전제를 의심하지 않는다. 작성자가 틀렸다면 그대로 실행됨
• 제약은 문서가 아니라 네트워크와 권한으로 담보한다

자신이 에이전트에게 전달하고 있는 "~하지 마라" 목록을 열어보고, 그것이 문서만으로 지켜지고 있는 상태는 아닌지 살펴보는 것이 좋을 것 같습니다.

지켜지지 않아도 상관없는 것이라면 문서만으로 충분합니다. 지켜지지 않으면 사고로 이어지는 것이 섞여 있다면, 그것은 문서 밖으로 빼내야 합니다. 지난 글부터 이번 글까지, 결국 그 지점으로 돌아옵니다.

참고

• Investigating three real-world incidents in our cybersecurity evaluations (Anthropic, 2026년 7월 30일)

• Simon Willison의 해설

• CLAUDE.md를 두껍게 만들어도 의미가 없었던 이야기 — 이 글의 전편. 긴 지시서가 지켜지지 않는 것을 측정한 논문 소개

• CLAUDE.md는 21개 섹션인가, 8행인가 — 정반대의 주장을 하는 두 기사를 검증한 이야기

• Claude Opus 5에서 바뀐 프롬프트의 상식 — thinking 및 effort 관련 사양 변경