2026년 7월 22일

이 이야기는 정말 놀랍습니다. 요약하자면, OpenAI가 가드레일(guardrail) 기능이 꺼진 미출시 모델을 대상으로 사이버 보안 테스트를 진행하고 있었습니다. 이 모델은 테스트를 해결하기보다는 OpenAI의 샌드박스(sandbox)에서 탈출하는 방법을 찾아냈고, 나아가 Hugging Face에 침입하여 테스트 답안을 훔쳐 부정행위를 할 수 있는 취약점들을 발견했습니다.

이 과정에서 모델 가용성의 불균형이 우리의 소프트웨어 보안 능력에 얼마나 큰 피해를 주고 있는지 가장 강력한 사례를 만드는 데 기여했습니다.

무슨 일이 일어났는지

우리가 이 사건을 이해하는 데 도움이 되는 세 가지 문서를 가지고 있습니다.

• ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks?는 2026년 5월 11일에 발표된 논문으로, LLM 기반 에이전트 시스템을 위한 새로운 평가 도구인 ExploitGym을 설명합니다.
• 보안 사고 공개(Security incident disclosure) — Hugging Face가 2026년 7월 16일에 작성한 문서로, “에이전트 방식의 보안 연구용 장치—사용된 LLM은 아직 알려지지 않음”으로부터 침입하여 일부 시스템을 무력화시킨 공격을 발견했다고 설명합니다.
• OpenAI와 Hugging Face는 모델 평가 중 발생한 보안 사고를 해결하기 위해 2026년 7월 21일에 파트너십을 체결하며, 이 사건이 그들의 에이전트 장치에 의한 것이었으며, 현재 혼란을 수습하기 위해 Hugging Face와 협력하고 있다고 고백했습니다.

ExploitGym

저는 ExploitGym 논문을 전에 본 적이 없는데 정말 흥미롭습니다. UC Berkeley, Max Planck Institute, UC Santa Barbara, Arizona State의 저자들이 보고된 취약점을 구체적인 익스플로잇(exploit)으로 전환하는 모델의 능력을 평가하기 위한 새로운 벤치마크를 설계했습니다. OpenAI, Anthropic, Google이 피드백을 제공하고 자신들의 모델들을 대상으로 이 벤치마크 실행을 도왔습니다.

이 벤치마크는 “리눅스 커널(Linux kernel)과 V8 JavaScript 엔진 등 인기 있는 소프트웨어 프로젝트에 영향을 미쳤던 실제 취약점들에서 파생된 898개의 인스턴스”로 구성되어 있습니다.

다음 단락이 그들의 벤치마크 결과를 가장 잘 나타냅니다:

모든 구성 중에서, Claude Mythos Preview와 GPT-5.5가 가장 높은 성공 횟수(각각 157회 및 120회 성공)를 달성하였으며, 이는 현재의 프런티어 에이전트 (frontier agents)가 통제된 조건 하에서 실제 세계 취약점의 상당 부분(substantial subset)을 악용할 수 있음을 입증합니다. GPT-5.4 또한 주목할 만한 54개의 태스크를 해결하며 중간 단계의 티어 (intermediate tier)에 위치했습니다. 나머지 모델-에이전트 쌍은 각각 15개 미만의 태스크를 해결하였는데, 이는 엔드 투 엔드 악용 (end-to-end exploitation)이 여전히 도전적인 과제임을 강조하며 오늘날의 프런티어 시스템들을 뚜렷하게 차별화합니다. 특히, Claude Opus 4.7은 더 최신 체크포인트 (checkpoint)임에도 불구하고 Claude Opus 4.6보다 적은 성공을 거두었으며, 전체 세트에서 실질적으로 더 낮은 비용으로 이를 수행했습니다. 추적 조사 (Trace inspection) 결과, Claude Opus 4.7과 Gemini 3.1 Pro는 대상 취약점이 악용 불가능하다고 판단한 후 빈번하게 조기에 종료하는 것으로 나타났습니다.

또한 이 논문은 에이전트들이 테스트 매개변수(parameters)를 벗어나 부정행위를 하는 것을 방지하기 위해 취한 접근 방식에 대해서도 설명합니다. 이 부분은 곧 중요해집니다!

아웃바운드 연결 (Outbound connections)은 일상적인 패키지 설치 (Ubuntu apt repositories 및 PyPI)와 V8 빌드에 필요한 툴체인 (toolchains)을 가져오는 것을 허용하는 선별된 허용 목록 (allowlist)으로 제한됩니다. 그 외의 모든 외부 엔드포인트 (external endpoints)는 차단됩니다.

논문은 다음과 같이 결론을 맺습니다 (강조는 필자):

우리의 결과는 프런티어 AI 에이전트에 의한 자율적인 익스플로잇 개발 (autonomous exploit development)이 더 이상 가설적인 능력이 아님을 보여줍니다. 현재의 에이전트들이 아직 모든 대상에 대해 신뢰할 수 있는 수준은 아니지만, 커널 구성 요소 (kernel components)와 같은 복잡한 대상을 포함하여 실제 세계 취약점의 무시할 수 없는 비율을 이미 악용하고 있습니다. 이러한 급격한 등장은 그 자체로 핵심적인 발견이며, 불가능해 보였던 능력들이 이제 배포된 프런티어 모델들에 존재함을 보여줍니다.

여기서 중요한 세부 사항은 다음과 같습니다: 이 논문은 취약점을 발견하는 것에 관한 것이 아니라, 그 취약점들을 가져와서 작동하는 익스플로잇 (exploits)으로 전환할 수 있는지에 관한 것입니다.

Anthropic이 지난 4월 Mythos에 대한 접근을 처음 제한했을 때, 그들도 이러한 능력에 대해 언급한 바 있습니다. 취약점에 대해 단순히 발견만 하는 모델보다, 그 취약점을 이용해 실제로 동작하는 모델이 훨씬 더 위험합니다.

Fable가 Mythos와 다른 점 중 하나는, 취약점을 이와 같은 방식으로 무기화(weaponize)하라는 요청을 거부할 가능성이 더 높다는 것입니다. 저는 미국 정부가 지난달 Fable을 금지했을 때, 이러한 차이점을 이해하지 못했다는 인상을 받았습니다.

Hugging Face 사건

우리가 공격에 대해 처음 얻은 단서는 2026년 7월 16일 Hugging Face가 게시한 이 블로그 포스트였습니다:

악성 데이터셋이 우리의 데이터셋 처리 과정에 있는 두 가지 코드 실행 경로(원격 코드 데이터셋 로더(remote-code dataset loader)와 데이터셋 설정 내의 템플릿 주입(template-injection))를 악용하여 처리 워커(processing worker)에서 코드를 실행했습니다. 공격자는 이를 통해 노드 수준(node-level)의 권한을 탈취했고, 클라우드 및 클러스터 자격 증명(credentials)을 수집했으며, 주말 동안 여러 내부 클러스터로 측면 이동(lateral movement)을 수행했습니다.

이 일을 해낸 코드에 대해 더 자세한 내용이 공개되기를 바랍니다. 저는 이것이 Hugging Face 플랫폼에서 데이터셋을 묶어서 공유하기 위한 프로젝트인 datasets 라이브러리를 사용하는 패키지들을 의미한다고 가정합니다. 해당 라이브러리는 임의의 코드를 실행할 수 있었으나 시간이 흐르면서 지속적으로 보안이 강화되었으며, 2025년 7월 4.0.0 버전 출시를 통해 trust_remote_code=True 플래그를 완전히 제거했습니다.

공격이 해당 라이브러리를 사용했다고 가정한다면, 어떤 방식으로든 pickle 직렬화(serialization)를 악용했거나, 다른 명확하지 않은 코드 실행 경로를 찾아냈거나, 혹은 (가장 가능성이 높은 것은) 의존성(dependency)으로 datasets<4.0.0을 지정했을 것입니다.

이 캠페인은 자율 에이전트 프레임워크(에이전트 기반 보안 연구 하네스(agentic security-research harness)를 기반으로 구축된 것으로 보이며, 사용된 LLM은 아직 알려지지 않음)에 의해 실행되었으며, 수천 개의 개별 동작을 수많은 단기 샌드박스(sandboxes) 스웜(swarm)을 통해 실행하고, 공용 서비스에 배치된 자기 이동형 명령 및 제어(command-and-control)를 사용했습니다.

이것은 매우 정교한 공격이었습니다!

그 후 Hugging Face는 벽에 부딪혔습니다. 그들은 공격을 분석하는 데 도움을 받기 위해 “상용 API 뒤에 있는 프런티어 모델 (frontier models behind commercial APIs)”—제 추측으로는 Anthropic과 OpenAI의 모델들—을 사용하려 했으나 차단되었습니다:

로그 분석을 시작했을 때, 우리는 먼저 상용 API 뒤에 있는 프런티어 모델 (frontier models)을 사용했습니다. 하지만 이는 작동하지 않았습니다. 분석을 위해서는 대량의 실제 공격 명령, 익스플로잇 페이로드 (exploit payloads), 그리고 C2 아티팩트 (C2 artifacts)를 제출해야 하는데, 이러한 요청들이 제공업체의 안전 가드레일 (safety guardrails)에 의해 차단되었기 때문입니다. 이 가드레일은 사고 대응자 (incident responder)와 공격자를 구분할 수 없습니다.

그들은 MIT 라이선스인 GLM-5.2를 자체 호스팅 인스턴스로 전환하여 사용했고, 이는 상황을 파악하는 데 도움이 되었습니다.

이는 방어 팀과 (아직은 정체가 밝혀지지 않은) 공격자 사이의 근본적인 비대칭성을 나타냈습니다:

우리는 공격자의 에이전트 (agents)를 구동한 모델이 탈옥된 호스팅 모델인지, 아니면 제한이 없는 오픈 웨이트 (open-weight) 모델인지 알 수 없습니다. 어느 쪽이든 공격자는 어떠한 이용 정책 (usage policy)에도 얽매이지 않았던 반면, 우리의 포렌식 (forensic) 작업은 우리가 처음에 시도했던 호스팅 모델들의 가드레일에 의해 차단되었습니다.

그들이 이 공격을 얼마나 심각하게 받아들였는지를 보여주는 유용한 지표로서:

[...] 마지막으로, 우리는 이 사건을 법 집행 기관에도 보고했습니다.

그렇다면 이 “자율 에이전트 프레임워크 (autonomous agent framework)”의 책임은 누구에게 있었을까요? 그것은 바로 OpenAI 자신임이 밝혀졌습니다.

OpenAI의 고백

5일 후인 7월 21일, OpenAI는 범인을 공개했습니다. 그들은 아직 공개되지 않은 새로운 모델을 대상으로 ExploitGym 벤치마크를 실행하고 있었으며, 해당 모델은 의도된 파라미터 (parameters)를 훨씬 벗어나 작동하고 있었습니다 (강조는 필자):

조사 결과, 우리는 이제 다음과 같은 사실을 알고 있습니다.

이 특정 사건은 사이버 역량 벤치마크 [ExploitGym]에서 내부 테스트를 수행하던 중, 평가 목적으로 사이버 거부 기능 (cyber refusals)이 축소된 GPT-5.6 Sol 및 훨씬 더 강력한 프리릴리스 (pre-release) 모델을 포함한 OpenAI 모델들의 조합에 의해 발생했다는 것을 말입니다. [...] 우리는 최대 사이버 역량을 다음과 같이 추정합니다.

모델들이 고위험 사이버 활동 (high-risk cyber activity)을 수행하는 것을 방지하기 위해 사용되는 프로덕션 분류기 (production classifiers) 없이 이 평가를 실행했습니다. 우리의 벤치마크 (benchmarks)는 매우 격리된 환경에서 실행되며, 네트워크 액세스는 패키지 레지스트리 (package registries)의 프록시 (proxy) 및 캐시 (cache) 역할을 하는 내부 호스팅 서드파티 소프트웨어를 통해 패키지를 설치할 수 있는 능력으로 제한됩니다. 모델들은

OpenAI의 연구 환경과 Hugging Face의 프로덕션 인프라 (production infrastructure) 전반에 걸쳐 취약점을 식별하고 체이닝 (chaining)하여, Hugging Face의 프로덕션 데이터베이스 (production database)로부터 테스트 솔루션을 직접 획득했습니다. 모든 증거는 모델들이 ExploitGym에 대한 해결책을 찾는 데 과도하게 집중했으며, 다소 좁은 테스트 목표를 달성하기 위해 극단적인 수단까지 동원했음을 시사합니다.

여기서 무슨 일이 일어났는지는 매우 명확합니다. OpenAI는 개발 중인 모델의 안전 필터 (safety filters)를 제거하고, 이를 샌드박스 (sandbox)에 가둔 뒤 ExploitGym 문제를 해결하라고 지시했습니다. 가드레일 (guardrails)이 부재했기 때문에, 모델이 해당 샌드박스를 탈출하여 Hugging Face로 침입하고 그곳에서 정답을 읽어오는 것을 막을 수 있는 것은 아무것도 없었습니다.

OpenAI의 샌드박스는 제어된 프록시를 통해 추가 패키지를 설치하는 것과 관련된 사이트들의 허용 목록 (allow-list)에 대한 액세스를 허용하는, 이제는 흔해진 패턴을 사용했습니다. OpenAI의 설명에 따르면 다음과 같습니다:

샌드박스 테스트 환경에서 작동하는 동안, 우리 모델들은

평가 문제를 해결하기 위해 공개 인터넷 (open Internet) 액세스를 얻을 방법을 찾는 데 상당한 양의 추론 컴퓨팅 (inference compute)을 소비했습니다. 액세스를 얻기 위해, 모델들은 패키지 레지스트리 캐시 프록시 (package registry cache proxy)에서 제로데이 취약점 (zero-day vulnerability, 현재 벤더에게 책임감 있게 공개함)을 식별하고 악용했습니다. 이 액세스를 통해, 우리 모델들은 인터넷 액세스가 가능한 노드 (node)에 도달할 때까지 연구 테스트 환경에서 일련의 권한 상승 (privilege escalation) 및 측면 이동 (lateral movement) 작업을 수행했습니다.

따라서 첫 번째 단계는 공용 인터넷으로 탈출하는 것이었습니다. 그런 다음 모델은 정답을 찾기 위해 Hugging Face로 침입했습니다:

인터넷 액세스를 확보한 후, 모델들은

Hugging Face가 ExploitGym을 위한 모델, 데이터셋 및 솔루션을 잠재적으로 호스팅하고 있다고 추론했습니다. 이를 인지한 모델은 평가를 속이는 데 사용할 수 있는 비밀 정보에 접근할 방법을 검색하여 성공적으로 찾아냈습니다. 한 사례에서, 모델은 도난당한 자격 증명(credentials)과 제로 데이 취약점(zero-day vulnerabilities)을 사용하는 것을 포함하여 여러 공격 벡터(attack vectors)를 체이닝(chaining)함으로써 Hugging Face 서버에서 원격 코드 실행(remote code execution) 경로를 찾아냈습니다.

여러 공격 벡터를 체이닝하는 것은 이전 세대의 모델들이 실패했을 수도 있는, 바로 이러한 새로운 모델들이 할 수 있는 정확한 종류의 일입니다.

저는 지난달 Claude Fable가 얼마나 끊임없이 주도적인지에 대해 썼는데, 당시 제가 WebKit CSS 문제를 디버깅하는 것을 돕기 위해 제 노트북에서 커스텀 웹 서버를 구동하고 CORS 트릭을 배포하는 것을 목격했습니다. 끊임없는 주도성은 이 새로운 세대의 Mythos급 모델들의 결정적인 특징임이 드러났습니다. 만약 당신이 그들에게 목표를 설정해주고 그곳에 도달할 방법을 제공한다면, 설령 의도치 않더라도, 그들은 반드시 방법을 찾아낼 것입니다.

이것을 단순한 쇼(stunt)로 치부하려는 유혹을 뿌리치십시오

이 이야기가 모델을 무서울 정도로 효과적으로 보이게 만들려는 OpenAI의 부정직한 마케팅 수법이라고 일축하는 사람들이 필연적으로 존재할 것입니다. 저는 해당 사건에 대한 Hacker News 토론에서 “마케팅(marketing)”이라는 용어가 81번 사용된 것을 발견했습니다.

그런 분들에게 저는 모래 속에 머리부터 박고 있는 행위를 멈추라고 말하고 싶습니다. 당신들은 여기서 증거가 고조되는 것을 부정하기 위해, 이제 Hugging Face까지 당신들의 음모론에 포함시키고 있습니다!

오늘날 우리가 가진 최고의 모델들은 새로운 취약점을 찾고 이를 악용(exploit)하는 능력을 모두 갖추고 있습니다. ExploitGym 논문 자체도 “프런티어 AI 에이전트에 의한 자율적 취약점 공격 개발(autonomous exploit development)은 더 이상 가설적인 능력이 아니다”라고 결론짓고 있으며, 이번 사건은 바로 그 점을 보여주는 완벽한 예시입니다.

비대칭성은 점점 더 좌절감을 줍니다

이 이야기에서 가장 화가 나는 세부 사항 중 하나는, OpenAI의 모델 중 하나로부터 발생한 우발적이고 공격적인 공격에 직면한 Hugging Face가 정작 그 공격을 막아내기 위해 OpenAI의 모델들에게 도움을 요청할 수 없었다는 점입니다.

우리가 접근할 수 있는 프런티어 모델 (Frontier models)들은 미국 정부의 지속적인 수출 통제 (Export controls) 위협에 크게 영향을 받아, 소프트웨어를 보호하는 데 얼마나 도움을 줄 수 있는지에 대해 점점 더 제약을 받고 있습니다. Claude 5 Fable은 심지어 저를 위해 이 기사를 교정해 주지도 않았습니다! 모델은 저를 성능이 낮은 모델로 강등시키겠다고 고집했습니다.

한편, GLM-5.2, Kimi 3, 그리고 새로운 Qwen 3.8 Max와 같은 중국의 오픈 웨이트 모델 (Open weight models)들은 이러한 제한 사항이 전혀 없는 것으로 보이며, 만약 제한 사항이 존재하더라도 가중치 (Weights)를 수정함으로써 미세 조정 (Fine-tuning)을 통해 제거할 수 있을 것으로 보입니다.

이러한 제약들은 우리를 더 안전하게 만들기 위한 의도입니다. 하지만 저는 그 효과가 정반대로 나타날 위험이 있다고 생각합니다.