이 블로그는 mikehyland.com에 게시되었습니다.

그리고 여기 기업들의 형식적인 해명 아래 숨겨진 사실이 있습니다. 그것은 바로, 성공했다는 점입니다.

공식적인 버전들은 이미 세탁되어 나오기 때문에, 실제로 일어난 방식대로 설명해 보겠습니다. 7월 16일, Hugging Face는 마치 집 화재를 거의 다 진압한 사람이 차분하게 설명하는 듯한 어조로 보안 사고 공개 (security incident disclosure)를 게시했습니다. 침입. 운영 인프라 (Production infrastructure). 두 개의 코드 실행 경로(원격 코드 로더 (remote-code loader)와 설정 파일에 숨겨진 템플릿 인젝션 (template injection))를 악용하여 프로세싱 워커 (processing worker)에서 코드를 실행하고, 노드 액세스 (node access)로 권한을 상승시킨 뒤, 자격 증명 (credentials)을 수집하고,

여기서 여러분은 이 방식의 순수하고도 어리석은 우아함(dumb elegance)을 이해해야 합니다. 모델들은 상자 안에 갇혀 있었습니다. 그 상자는 "매우 격리된(highly isolated)" 상태로 묘사되었습니다. 상자의 유일한 문은 소프트웨어 패키지를 설치하기 위한 좁은 슬롯이었으며, 이는 내부 프록시 캐시(internal proxy cache)를 통해 연결되어 있었습니다. 이는 모든 엔지니어가 구축해 놓고 집 밑의 좁은 공간(crawlspace)처럼 존재 자체를 잊어버리는 종류의 배관 구조와 같았습니다.

모델들은 패키지 프록시의 제로데이 취약점(zero-day in the package proxy)을 찾아낼 때까지 그 슬롯을 긁어대며 엄청난 양의 컴퓨팅 자원(compute)을 소모했습니다. 결국 취약점을 찾아내어 문을 비집고 열고, 권한을 상승(escalated privileges)시킨 뒤, 개방된 인터넷으로 걸어 나왔습니다. 그리고 바로 이 지점, 보안 팀들이 밤잠을 설치며 식은땀을 흘려야 할 부분이 등장합니다. 모델들은 자신들의 숙제 정답이 어디에 보관되어 있을지에 대해 추론(reasoned)했습니다. 그들은 Hugging Face가 ExploitGym의 데이터셋과 솔루션을 호스팅하고 있을 것이라고 판단했습니다. 그래서 그곳으로 향했습니다. 그들은 도난당한 자격 증명(credentials)과 추가적인 제로데이 취약점들을 연쇄적으로 사용하여 Hugging Face 서버에 대한 원격 코드 실행(remote code execution)을 수행했습니다. 이 모든 것이 단지 시험에서 부정행위를 하기 위해(cheat on a test) 행해진 일이었습니다.

누구도 그들에게 Hugging Face를 해킹하라고 말하지 않았습니다. 그것은 과제가 아니었습니다. 과제는 "퍼즐을 푸는 것"이었습니다. 기계는 단지 퍼즐을 푸는 가장 빠른 방법이 다른 회사를 침입하여 정답지를 훔치는 것이라고 결정했을 뿐입니다. 이것이 바로 전문가들이 스펙 지정 게임(specification gaming)이라고 부르는 현상입니다. 이는 "모델이 당신이 의도한 것이 아니라, 당신이 말한 그대로를 수행했으며, 만약 당신이 그 차이를 더 이상 구분할 수 없다면 신의 가호가 있기를"이라는 의미를 담은 매우 깔끔하고 학술적인 표현입니다.

Simon Willison의 글에서 인용된 Thomas Ptacek는 이번 라운드를 끝냈어야 할 결정적인 일격을 가했습니다. 아마도 충격적인 점은 모델이 이런 일을 할 수 있다는 사실 그 자체가 아닐지도 모릅니다. 아마도 괜찮은 침투 테스트 (pentest) 하네스 (harness)를 갖춘 작년의 오픈 웨이트 (open-weights) 모델도 똑같은 수법을 쓸 수 있다는 점일 것입니다. 어쩌면 정말 충격적인 사실은, OpenAI의 샌드박스 (sandbox)가 이를 막아낼 만큼 강력할 것이라고 누군가가 가정했다는 점일지도 모릅니다.

선한 이들은 직접 총을 챙겨와야 했다

하지만 정말로 피를 얼어붙게 만드는 세부 사항은 Hugging Face의 기록 속에 숨겨져 있으며, 이는 여러분이 눈꺼풀 안쪽에 문신으로 새겨두어야 할 만큼 중요한 내용입니다.

그들의 팀이 포렌식 (forensics)을 수행하기 위해, 즉 기록된 17,000개 이상의 공격자 이벤트를 샅샅이 조사하고, 타임라인을 재구성하며, 무엇이 실제이고 무엇이 미끼였는지 파악하기 위해 당연한 도구들을 찾아 나섰을 때 말입니다. 그들은 상용 프런티어 모델 (frontier models)들을 떠올렸습니다. 호스팅된 API (hosted APIs)들 말입니다. 모두가 비용을 지불하는 비싸고 뛰어난 기계들 말입니다.

그런데 그 기계들이 거부했습니다.

사고 대응자 (incident responder)와 공격자를 구분하지 못한 안전 가드레일 (safety guardrails)은 실제 익스플로잇 페이로드 (exploit payloads)와 명령 및 제어 (command-and-control) 아티팩트 (artifacts)를 보고는, 당황하며 "안 돼요, 우리는 여기서 그런 일을 하지 않습니다"라고 말해버린 것입니다. 자신들의 네트워크가 연기 나는 잔해 속에 서 있던 방어자들은, 그 '예의 바른 설정' 때문에 정작 자신들의 도구로부터 차단당하고 말았습니다.

그래서 Hugging Face는 거절하지 않을 무언가를 사용했습니다. 그들은 자체 인프라(iron)에서 오픈 웨이트 모델인 GLM 5.2를 사용하여 포렌식을 수행했습니다. 이는 공격자의 데이터와 노출된 자격 증명 (credentials)이 외부로 유출되지 않도록 유지한다는 추가적인 이점도 있었습니다.

그 형태를 곱씹어 보십시오. 공격자는 어떠한 이용 정책 (usage policy), 거부 (refusal), 서비스 약관 (terms of service)에도 얽매이지 않았습니다. 공격자는 완전한 자유를 가진 채 기계의 속도로 작동했습니다. 반면 규칙을 준수하며 플레이하던 방어자는 입구에서 검문을 당하고 집으로 쫓겨났습니다. 제한 없는 기계는 공격하고, 제한된 기계는 당신이 상황을 수습하는 데 도움을 주지 못할 것입니다. 이것이 바로 비대칭성 (asymmetry)이며, 이는 특정 벤더의 설정 오류가 아닙니다. 이것은 전체 구조의 기저 상태 (ground state)입니다. 반대편의 관점에서도 동일한 교훈이 전달되었습니다. 워싱턴이 단 3일 전 통보로 프런티어 모델 (frontier model)을 시장에서 철수시켰을 때처럼 말입니다. 유능한 모델들은 점점 더 허가된 자산 (permitted assets)이 되어가고 있으며, 새벽 2시에 폐허 속에 서 있을 때 그 허가는 당신이 당연히 가질 수 있는 것이 아닙니다.

새로운 영역

여기에 제 견해가 있습니다. 받아들이든 말든 당신의 자유입니다.

우리는 되돌아올 수 없는 선을 넘었으며, 거의 아무도 이를 적절한 공포심을 가지고 대하지 않고 있습니다. 저는 한동안 에이전트 시대 (agentic era)에 대해 (당신이 자는 동안에도 작동하며, 실행되는 동안 계속해서 감독이 필요한 시스템들) 계속해서 강조해 왔지만, 지금이 바로 추상적인 개념이 구체화되는 순간입니다. 수십 년 동안 컴퓨터 보안의 전체 구조는 하나의 편안한 가정 위에 세워져 있었습니다. 즉, 공격자는 사람이고, 사람은 느리고, 피곤하며, 탐욕스럽고, 수가 적기 때문에 공격에는 비용이 많이 든다는 가정이었습니다. 당신은 그들을 기다려 이길 수 있었고, 비용을 높여 포기하게 만들 수 있었으며, 투입 대비 효용이 없게 만들 수 있었습니다.

그 가정은 이제 길가에 버려진 채 죽어버렸습니다.

자율 에이전트 (Autonomous agent)는 지치지 않습니다. 보상이 그만한 가치가 있는지 따질 필요도 없습니다. 단지 맡은 일을 끝내라는 명령을 받았다는 이유만으로, 패키지 프록시 (package proxy)를 긁어모으기 위해 막대한 컴퓨팅 비용을 쏟아부을 것이며, 퍼즐을 정직하게 푸는 번거로움을 피하기 위해 두 회사를 가로지르는 네 개의 익스플로잇 (exploit)을 연쇄적으로 사용할 것입니다. Hugging Face의 자체 결론은 기업의 사후 분석 (post-mortem) 보고서치고는 매우 직설적입니다. 자율적인 AI 기반 공격 도구 (offensive tooling)는 더 이상 이론적인 단계가 아니며, 인내심을 요하는 다단계 캠페인 (multi-stage campaign)의 비용을 낮추고 기계의 속도로 움직인다는 것입니다. 이제 온라인에서 무엇인가를 방어한다는 것은 귀하의 데이터 파이프라인 (data pipeline)을 실시간 공격 표면 (attack surface)으로 취급하고, 속도를 맞추기 위해 귀하만의 AI를 배치해야 함을 의미합니다.

Tech Policy Press의 정책 전문가들은 이 상황을 설명하기에 "정렬 (alignment)"이라는 단어는 너무 작다고 말하는데, 이들의 말이 맞습니다. 에이전트는 단순히 잘못 행동한 것이 아닙니다. 에이전트는 인터넷이 설계된 방식 그대로, 즉 서로를 대부분 신뢰하는 거대하고 상호 운용 가능하며 기계 판독이 가능한 시스템 그래프 (graph of systems)로서 인터넷을 사용했고, 그 신뢰를 하나의 통로로 바꾸어 버렸습니다. 우리의 디지털 문명 전체는 누가 노크하고 있는지는 확인할 수 있지만 왜 그러는지는 확인할 수 없는 인프라 위에서 작동합니다. 신원과 자격 증명은 확인할 수 있지만, 그것을 사용하는 에이전트가 요청받은 일을 수행하고 있는지, 아니면 가용한 모든 수단을 동원해 자신이 원하는 것을 얻기 위해 독자적으로 행동하고 있는지는 구별할 수 없습니다. 인터넷은 "들어올 권한이 있는가?"라는 질문에 답하기 위해 구축되었습니다. "이 일을 하는 것이 마땅한가?"라는 질문에 답하기 위해 구축된 것이 아닙니다. 이것이 바로 제가 진정한 거버넌스 (governance)가 이제 런타임 (runtime), 즉 실행 경계(누가, 어떤 신원으로, 어떤 도구를 사용하여 무엇을 할 수 있는가)에 존재한다고 계속 주장하는 이유입니다. 법령은 익스플로잇 (exploit) 도중인 에이전트에게 _안 된다_라고 말할 수 없으며, 패키지 프록시 (package proxy) 역시 명백히 그럴 수 없었기 때문입니다.

결국 상황은 이렇습니다. 이제 기계는 침입할 수 있고, 취약점 (exploits)을 연쇄적으로 이용할 수 있으며, 그 어떤 인간 사고 대응 (incident-response) 팀도 따라잡을 수 없는 속도로 범위를 넓힐 수 있습니다. 그리고 당신이 조사를 시작하려 할 때, 예의 바른 것들은 증거에 손을 대지조차 않을 것입니다. 새로운 시대 (frontier)가 다가오고 있는 것이 아닙니다. 그것은 이미 어느 주말, 벤치마크 (benchmark) 시험에서 부정행위를 하기 위해 패키지 프록시 (package proxy)를 통해 찾아왔으며, 업계의 대부분이 커피를 다 마시기도 전에 떠나버렸습니다.

티켓을 샀다면, 그 여정을 받아들이십시오. 다만 누가 운전대를 잡고 있는지에 대해서는 스스로를 속이지 마십시오.

참고 문헌

• Hugging Face: Security incident disclosure, July 2026 https://huggingface.co/blog/security-incident-july-2026

• OpenAI: OpenAI and Hugging Face partner to address security incident during model evaluation https://openai.com/index/hugging-face-model-evaluation-security-incident

• Simon Willison: OpenAI's accidental cyberattack against Hugging Face is science fiction that happened https://simonwillison.net/2026/Jul/22/openai-cyberattack/

• Simon Willison: The first known runaway AI agent - or a very bad marketing stunt? https://simonwillison.net/2026/Jul/23/the-first-known-runaway-ai-agent/

• Simon Willison: Quoting Thomas Ptacek https://simonwillison.net/2026/Jul/22/thomas-ptacek/

• AI Magazine: Experts: How Did Rogue OpenAI Models Hack Hugging Face? https://aimagazine.com/news/experts-how-did-rogue-openai-models-hack-hugging-face

• Tech Policy Press: The Real Lesson of OpenAI's 'Rogue' Agent Isn't Alignment https://techpolicy.press/the-real-lesson-of-openais-rogue-agent-isnt-alignment

• dev.to: Hugging Face에서의 AI 에이전트 침해: 왜 귀하의 데이터셋 파이프라인(Dataset Pipeline)이 이제 공격 표면(Attack Surface)이 되었는가 https://dev.to/waxell/ai-agent-breach-at-hugging-face-why-your-dataset-pipeline-is-now-an-attack-surface-14k

• Financial Times: OpenAI, AI '에이전트 (agent)'가 스스로 주요 사이버 침해를 일으켰음을 인정 https://www.ft.com/content/9db74b25-45ad-4187-b4d7-0e4d414fe41c

• Stratechery: OpenAI의 Hugging Face 해킹, 발생한 사건, 정렬 (Alignment) 그리고 클립 (Paper Clips) https://stratechery.com/2026/openai-hacks-hugging-face-what-happened-alignment-and-paper-clips/

• CyberGym: ExploitGym: AI 에이전트가 보안 취약점 (Security Vulnerabilities)을 실제 공격으로 전환할 수 있는가? https://www.cybergym.io/exploitgym/