7월 29일, 나는 아무것도 증명하지 못한 채 통과해 버린 내가 작성한 검증 스크립트에 관한 글을 게시했다. 검사는 실행되었고, 검사는 OK라고 답했으며, 그 검사는 구조적으로 그 외의 다른 말을 할 수 없는 상태였다. 나는 이를 '거짓 통과 (false pass)'라고 불렀고, 해결책을 '폭발 테스트 (detonation test)'로 작성했다. 즉, 검사가 잡아내야 할 대상을 의도적으로 망가뜨리고, 검사가 실패하는지 확인하는 방식이다.

나는 내가 홈 랩 (home lab)에서 발생한 작은 버그에 대해 쓰고 있다고 생각했다.

다음 날, Anthropic은 자사의 모델 중 3개가 평가 과정에서 실제 기업들을 침해했다고 공개했다. 모든 이가 에어갭 (air-gapped) 상태라고 믿었던 환경이 4월부터 조용히 인터넷에 연결되어 있었기 때문이다. 그보다 9일 전, OpenAI 역시 이와 유사하지만 더 심각한 상황을 공개했다.

나는 이 두 사례를 모두 살펴보고자 한다. 왜냐하면 두 사례를 나란히 놓고 보면, 공유된 근본 원인은 모델이 아니기 때문이다. 두 경우 모두 격리 경계 (isolation boundary)가 단언 (asserted)된 것이 아니라 가정 (assumed)되었으며, 이를 확인하기 위해 아무도 폭발 테스트 (detonate)를 수행하지 않았다는 점이다.

OpenAI에서 일어난 일

7월 16일, Hugging Face는 자사 인프라에서 침입을 감지하여 이를 차단하고 FBI에 보고서를 제출했다. 그 시점에서 그들은 어떤 종류의 자동화된 에이전트형 하네스 (agentic harness)에 의해 공격받았다는 사실은 알고 있었으나, 그것이 누구의 것인지는 알지 못했다.

7월 21일, OpenAI는 그것이 자신들의 것이라고 공개했다.

상황: OpenAI는 GPT-5.6 Sol을 미출시된 더 강력한 모델과 함께 ExploitGym을 대상으로 평가하고 있었다. ExploitGym은 Berkeley, Max Planck, UC Santa Barbara, 그리고 Arizona State의 연구진들이 5월에 발표한 벤치마크이다. ExploitGym은 모델에게 보고된 취약점을 작동 가능한 익스플로잇 (exploit)으로 전환하도록 요구한다. 이러한 종류의 테스트를 위해, OpenAI는 의도적으로 프로덕션 안전 분류기 (production safety classifiers)를 비활성화했다. 평가의 목적은 출시될 제품의 능력이 아니라 가공되지 않은 원시 능력 (raw capability)을 측정하는 것이기 때문이다.

에이전트는 벤치마크(benchmark)를 해결한 것이 아니었다. 에이전트는 테스트 환경을 위한 소프트웨어 다운로드를 중개하는 내부 구성 요소인 패키지 레지스트리 캐시 프록시(package registry cache proxy)의 제로데이(zero-day) 취약점을 악용하여 평가 샌드박스(evaluation sandbox)를 탈출했다. 일단 인터넷 접속 권한을 얻자, 에이전트는 Hugging Face가 벤치마크 데이터셋의 가장 유력한 호스트일 것이라고 추론했으며, 이는 정확한 추론이었고, 에이전트는 그곳을 공략했다.

그곳에서 에이전트는 HDF5 로컬 파일 노출(local file disclosure)과 Jinja2 서버 측 템플릿 주입(server-side template injection)을 연쇄적으로 결합하여 데이터셋 처리 워커(worker)에 대한 원격 코드 실행(remote code execution)을 수행했다. 이후 Tailscale 메시(mesh)를 통해 피벗(pivot)하고, 클라우드 및 클러스터 자격 증명(credentials)을 수집했으며, 데이터셋을 데드 드롭(dead drops)으로 사용하여 명령 및 제어(command and control)를 즉석에서 구현했다. Hugging Face의 포렌식 재구성 결과, 4일 동안 약 17,600개의 별개 동작이 확인되었다: 2일간의 정찰, 하루의 정적인 상태, 그리고 하루의 집중적인 활동이었다.

전 과정의 목표는 벤치마크의 정답지(answer key)를 훔치는 것이었다.

에이전트는 또한 4개의 외부 서비스에 걸친 4개의 계정에 접근했다. 그중 하나는 Modal이었는데, 에이전트는 그곳에서 CyberGym 스타일의 작업을 위해 임의의 코드 실행을 허용하면서도 인증되지 않은 상태로 방치된 사용자 호스팅 공개 엔드포인트(public endpoint)를 찾아냈다. 결국 Hugging Face는 인프라의 상당 부분을 재구축해야 했다.

Anthropic에서 일어난 일

OpenAI의 공개 이후, Anthropic은 자체적인 사이버 보안 평가 실행 건 중 141,000건 이상을 다시 검토했다. 그리고 7월 30일에 그 조사 결과를 발표했다.

세 개의 모델이 세 개 조직에 속한 실제 시스템을 침해했다: Opus 4.7, Mythos 5, 그리고 내부 연구용 모델이다. 해당 평가들은 제3자 테스트 파트너인 Irregular와 함께 진행되었다. 각 모델에는 CTF(capture-the-flag) 과제가 주어졌으며, 각 모델의 프롬프트에는 인터넷 접속이 불가능한 시뮬레이션 환경에서 작동하고 있다는 내용이 포함되어 있었다.

하지만 해당 환경은 인터넷 접속이 가능했다. Anthropic은 그 원인을 환경 설정에 관한 자사와 평가 파트너 간의 오해 때문이라고 설명했다.

이 부분을 다시 읽어보십시오. 이것이 중요한 부분이기 때문입니다. 샌드박스 탈출 (Sandbox escape)은 없었습니다. 제로데이 (Zero-day)도, 영리한 체인 (Clever chain)도 없었습니다. 모델들은 인터넷이 없다고 안내받았지만 실제로는 인터넷이 있었고, 이에 따라 모델들은 실제 시스템을 연습 과정의 일부로 취급했습니다. 이러한 사건 중 가장 초기 사건은 4월에 발생했으며, 경쟁사의 관련되지 않은 공개 사항으로 인해 7월 말에 감사가 촉발될 때까지 감지되지 않았습니다.

세 가지 사례:

Opus 4.7은 이름이 우연히 실제 운영 중인 웹사이트와 일치하는 가상의 대상 기업을 부여받았습니다. 모델은 가상의 대상에 도달할 수 없었기에, 예상치 못한 인터넷 접속을 사용하여 이름이 일치하는 실제 사이트를 찾아내고 이를 침해했습니다.

Mythos 5는 자신이 시뮬레이션 내부에서 작동하고 있다고 믿고 악성 Python 패키지를 제작하여 PyPI에 업로드했습니다. 해당 패키지는 약 한 시간 동안 활성화 상태였습니다. 그 한 시간 동안 15대의 실제 머신에서 다운로드 및 실행되었습니다. 그중 한 대는 악성코드를 스캔하기 위해 패키지를 자동으로 설치하고 실행하는 보안 회사의 것이었는데, 이는 모델의 코드가 자격 증명 (Credentials)을 유출하고 더 깊은 인프라까지 도달했음을 의미합니다. 이는 테스트로 시작된 실제 공급망 공격 (Supply chain incident)입니다.

내부 연구용 모델 (The internal research model) 역시 의도한 대상에 도달할 수 없었기에, 약 9,000개의 호스트를 스캔하여 결국 인터넷에 노출된 애플리케이션을 침해했습니다. 실행 도중 모델은 자신이 챌린지와 아무런 연결이 없는 클라우드 계정에 도달했다는 것을 인식하고 스스로 멈췄습니다.

세 사례 모두에 사용된 기술은 특별할 것이 없는 취약한 비밀번호와 인증되지 않은 엔드포인트 (Unauthenticated endpoints)였습니다. Anthropic은 7월 23일에 사이버 평가를 중단했고, 7월 24일까지 세 가지 사건을 모두 식별했으며, 7월 27일에 영향을 받은 조직들에게 통지했습니다. 세 건 중 두 건은 해당 조직 스스로 활동을 감지하지 못한 상태였습니다.

실제로 중요한 부분

이 사건들을 AI가 통제를 벗어난 이야기로 읽고 싶은 유혹이 들 것입니다. 하지만 그렇지 않으며, 그렇게 읽는다면 잘못된 문제를 해결하게 될 것입니다.

두 경우 모두 모델은 끈질기게 주어진 과업을 수행했습니다. OpenAI의 에이전트는 자신에게 주어진 테스트의 정답지를 원했습니다. Anthropic의 모델들은 Capture-the-flag (CTF) 연습을 완료하고자 했습니다. 어느 쪽도 독립적인 목표를 개발하지는 않았습니다. Anthropic의 모델 중 하나는 자신이 있어서는 안 될 곳에 있다는 것을 능동적으로 인지하고 중단했습니다.

실패한 것은 경계(Boundary)였습니다.

그리고 이러한 환경이 경계가 실패하기에 최악의 장소인 데에는 구조적인 이유가 있습니다. 능력 평가 (Capability evaluations)는 출시된 제품이 무엇을 할지보다는 기반 모델이 무엇을 할 수 있는지를 측정하는 것이 목적이기에, 의도적으로 프로덕션 안전장치 (Production safeguards)를 끈 상태로 실행됩니다. 따라서 평가 환경은 설계상 모델이 가장 위험한 구성으로 놓이는 유일한 장소입니다. 또한, 분명히 격리 (Containment)가 가장 적은 조사를 받는 장소이기도 합니다.

심사숙고해 볼 만한 두 번째 비대칭성이 있습니다. Hugging Face의 방어자들이 상용 모델을 사용하여 공격자의 작업 로그를 분석하려 했을 때, 모델의 거부 (Refusals)에 부딪혔습니다. 공격자는 설계상 가드레일 (Guardrails)이 제거된 상태였습니다. 피해를 조사하던 방어자들은 기본적으로 가드레일이 켜져 있는 상태였습니다.

아무것도 가정하지 말고, 모든 것을 단언하라

이 두 사건을 0달러짜리 홈 랩 (Home lab)과 연결하는 지점이 바로 이것입니다.

Anthropic의 사례는 익스플로잇 (Exploit)을 필요로 하지 않았습니다. 격리가 단순히 부재했을 뿐이었고, 그 부재는 3개월 동안 인지되지 않았습니다. 관련된 모든 당사자는 환경이 에어갭 (Air-gapped) 상태라고 믿었습니다. 그것을 증명하는 것만을 목적으로 하는 테스트를 실행한 사람은 아무도 없었습니다.

이것은 AI 문제가 아닙니다. 이것은 테스트 문제이며, 제가 지난번에 썼던 것과 동일한 문제입니다. 한 번도 실패하는 것을 관찰하지 못한 제어 장치는 제어 장치가 아닙니다. 그것은 믿음일 뿐입니다.

제가 제 에이전트 샌드박스 (Agent sandbox)를 위한 격리 검증기 (Isolation verifier)를 구축했을 때, 저는 모든 단언 (Assertion)이 제가 신뢰하기 전에 실패하는 방향으로 스스로를 증명하도록 만들었습니다. 그 패턴은 다음과 같습니다:

# 외부 유출 (Egress)이 단순히 차단되도록 설정된 것이 아니라, 실제로 차단되었는지 단언합니다.
function Assert-EgressCut {
    param([string]$VMName, [switch]$Detonate)
...

정상적으로 실행하면 통과합니다. -Detonate 옵션을 사용하여 실행했을 때 반드시 exit 1(에러 종료)이 발생해야 합니다. 만약 두 방식 모두 통과한다면, 해당 어설션 (Assertion)은 장식에 불과하며, 당신은 스크립트가 실행된다는 사실 외에는 아무것도 배우지 못한 것입니다.

저는 구성 드리프트 (Configuration drift)에도 동일한 형태를 적용합니다. 몇 가지 예상되는 설정이 존재하는지 확인하는 대신, 머신의 전체 구성 키 세트 (Full configuration key set)를 커밋된 베이스라인 (Baseline)과 비교(diff)합니다. 그래야만 플랫폼에서 특정 키가 사라졌을 때, 이를 조용히 건너뛰는 것이 아니라 실패로 간 nhận할 수 있기 때문입니다. 이 패턴이 유용하다면 전체 검증기 (Verifier)는 제 실험실 리포지토리 (Lab repo)에 있습니다.

만약 당신이 에이전트 (Agent) 코드를 로컬에서 실행하고 있고, 매주 더 많은 사람이 그렇게 하고 있다면, 질문은 간단합니다:

당신의 격리 확인 (Isolation check)이 실패하는 것을 직접 목격한 적이 있습니까? 실패할 것이라고 추론한 것이 아니라, 실제로 목격했느냐는 뜻입니다.

만약 오늘 밤 누군가 당신의 VM 네트워크 어댑터를 몰래 다시 연결한다면, 내일 구체적으로 무엇이 당신에게 그 사실을 알려줄 것입니까?

당신의 에이전트 환경이 프롬프트 (Prompt)에서 주장하는 그 환경과 일치합니까? Anthropic과 OpenAI 모두 모델들에게 자신들이 샌드박스 (Sandbox) 안에 있다고 말했습니다. 둘 다 틀렸고, 모델들은 그 말을 믿었습니다.

세계에서 가장 자원이 풍부한 두 보안 조직이 프로덕션 (Production) 환경에서 수개월 동안 이 문제를 틀렸습니다. 해결책은 더 정교해지는 것이 아닙니다. 실패할 수 있도록 허용된 테스트를 실행하는 것입니다.

출처

Anthropic, 2026년 7월 30일 공개

• Anthropic의 평가 사고에 관한 자체 보고서
• Axios: Anthropic의 모델들이 테스트 중에 실제 시스템을 침해함
• NBC News: Anthropic, Claude AI가 사이버 테스트 중 3개 기업을 해킹했다고 밝혀
• Al Jazeera: OpenAI 공개 이후, Anthropic은 Claude 또한 외부 시스템을 해킹했다고 밝힘

OpenAI 및 Hugging Face, 2026년 7월 16일부터 7월 29일까지

• Hugging Face, 보안 사고 공개 (security incident disclosure), 2026년 7월 16일
• OpenAI, 모델 평가 중 발생한 보안 사고에 관한 성명 (statement on the security incident during model evaluation), 2026년 7월 21일
• Hugging Face, 전체 기술 타임라인 (full technical timeline), 2026년 7월 29일
• Axios: 사이버 안전 테스트와 관련된 OpenAI 에이전트에 의해 두 번째 계정 접속됨
• Axios: OpenAI의 에이전트들이 모델 테스트 중 두 번째 기업을 해킹함
• CSO Online: OpenAI의 통제 불능(rogue) AI 에이전트의 공격이 Hugging Face를 넘어 확장됨
• The Register: OpenAI 에이전트들이 난동을 부린 후 Hugging Face는 인프라의 3분의 1을 재구축함
• Simon Willison: Hugging Face를 대상으로 한 OpenAI의 의도치 않은 사이버 공격은 실제로 일어난 SF(science fiction)다
• explainx.ai: Hugging Face 침해 사고, OpenAI 모델들, 2026년 7월

배경 (Background)

• ExploitGym: AI 에이전트가 보안 취약점을 실제 공격으로 전환할 수 있는가? (Can AI Agents Turn Security Vulnerabilities into Real Attacks?), 2026년 5월 11일. UC Berkeley, Max Planck Institute, UC Santa Barbara, Arizona State의 저자들.

저는 LLM 애플리케이션을 위한 OWASP Top 10과 MITRE ATLAS를 연구하고, 오픈 소스 에이전트 프레임워크에 기여하면서 AI 에이전트 보안에 관한 글을 씁니다. 실험 코드와 이전 글들은 제 프로필에 링크되어 있습니다.