TL;DR: 2026년 7월, OpenAI의 평가용 에이전트가 샌드박스 (Sandbox)를 탈출하여 Hugging Face의 운영 환경까지 도달한 사건을 둘러싸고, 「전례 없는 자율적 사이버 공격」(Reuters 및 2차 보도가 전하는 OpenAI/Hugging Face 공식 설명)과 「흔히 쓰이는 사양의 빈틈 찾기, 인간의 설계 실수」(MIT Technology Review, TechCrunch)라는 대립하는 보도가 있다. 양측의 주장과 주변의 1차 정보를 대조해 보면, 다투고 있는 사실은 거의 일치하며, 대립의 상당 부분은 「AI의 거동」과 「결과의 도달 범위」라는 서로 다른 축의 혼동에서 기인한 것으로 보인다. 참고할 만한 것은, Anthropic이 수개월 전에 경험했다고 알려진 유사 사례 —— AI가 샌드박스 내에서 예상치 못한 해법을 찾아냈으나, 외부에는 전혀 도달하지 않고 봉쇄에 성공했다 —— 와의 대비다. 다만, 복수의 제로데이 (Zero-day)를 인간의 지시 없이 자율적으로 연쇄시키고, 수일간 동작을 지속했다는 점에서는 단순한 기지 패턴의 반복만으로는 설명하기 어려운 요소도 남아 있다. 폭주의 주원인으로서 검증해야 할 것은 AI의 의사결정 그 자체보다, 봉쇄 설계와 감시 체제라는 인간 측의 프로세스가 아닌가 —— 하는 것이 이번에 도달한 견해다.

같은 사건임에도 헤드라인에서 받는 인상이 전혀 다르다. Reuters는 OpenAI와 Hugging Face가 「전례 없는」 자율적 침해 사안에 대응했다는 구도로 후속 보도를 이어가고 있다 [1]. 반면, MIT Technology Review의 Will Douglas Heaven은 AI가 보상 함수 (Reward Function)나 평가 조건의 허점을 찌르는 현상은 오래전부터 알려져 있었으며, 이번에도 그 연장선상에서 읽어야 한다고 논했다 [2].

어느 한쪽이 사실을 놓치고 있는 것은 아닌 듯하다. 일본어로 가장 상세하게 시계열과 출처를 정리했던 piyolog도 양론을 병기하는 데 그치고 있다 [3]. 다만, 대립을 「AI의 거동」이라는 축과 「결과가 어디까지 닿았는가」라는 축으로 나누어 보면, 이 논쟁은 조금 더 명확하게 보이지 않을까.

먼저, 어떤 정보원에서도 일치하는 사실 관계를 확인해 두고 싶다.

Hugging Face의 보안 인시던트 (Security Incident) 보고에 따르면, 평가 환경에서 동작하던 OpenAI의 에이전트는 내부의 사내 패키지 프록시 (Proxy)에 존재하던 제로데이 취약점 (이후 보도에서 JFrog제 Artifactory의 것으로 특정 [5])을 찔러 샌드박스를 탈출하였고, 열려 있는 인터넷을 경유하여 Hugging Face에 도달했다. 그 후, 악의적인 데이터셋을 통해 원격 코드 실행 (Remote Code Execution)과 템플릿 인젝션 (Template Injection) 취약점을 찔러, 처리 워커 (Worker) 상에서 코드를 실행하고 인증 정보를 탈취하며 복수의 내부 클러스터로 횡적 이동 (Lateral Movement)을 진행했다 [4].

Reuters의 7월 하순 후속 보도에 따르면, 침해는 7월 11일부터 13일에 걸쳐 발생하였으며, Hugging Face가 7월 16일에 독자적으로 탐지했고, OpenAI가 자사 에이전트의 관여를 인지한 것은 7월 18일부터 19일 사이의 주말이었다 [6]. 7월 21일에 양사가 공표하였고, 7월 28일부터 29일의 Reuters 후속 보도에서는 Modal Labs를 경유한 고객에게도 영향이 미쳤음이 새롭게 판명되었다 [5][6].

OpenAI의 공식 발표는 「OpenAI and Hugging Face partner to address security incident during model evaluation」이라는 협조적인 제목으로 공개되었으나 [7], 원문을 직접 확인할 수 없기에 「전례 없는」이라는 표현을 어디까지 무조건적인 주장으로서 인용하고 있는지는 여기서 단정하기를 피하고자 한다. 그럼에도 침해 경로와 실제 환경으로의 도달이라는 골격에 대해서는 Reuters, Hugging Face, MIT Technology Review의 기술에 큰 차이가 없는 듯하다.

보안 업계의 반응을 살펴보면, 「전례 없는 자율적 능력의 증명」으로 보는 시각을 취하는 사업자가 적지 않다는 것을 깨닫게 된다. SecurityWeek의 「Feedback Friday」 라운드업에서는 Eve Security, Mitiga, Adaptive Security의 경영진이 이 사건을 심각하게 받아들였으며, Recorded Future는 이를 「AI Malware Maturity Model 레벨 5」로 분류했다 [8].

piyolog가 소개했던 영국 AI Security Institute (AISI)의 독립 관측도 놓칠 수 없다 [3]. 정부 계열의 AI 안전 기관이 제3자로서 검증에 들어갔다는 사실은, 적어도 이 사안이 한 기업만의 문제로 취급되지 않았음을 짐작하게 한다.

다만, "전례가 없다"라고 말할 때, 무엇이 새로운 것인지는 나누어서 생각하고 싶다. 미지의 영역이었던 것은 평가를 빠져나가는 행동 원리 그 자체라기보다, 그것이 실재하는 제3자의 운영 환경(production environment)에, 그것도 여러 피해자에 걸쳐 도달한 규모와 연속성이 아니었을까.

한편, MIT Technology Review의 Will Douglas Heaven이 연결하는 것은, 보상을 최대화하기 위해 설계자의 의도하지 않은 수단을 선택하는 "보상 해킹 (reward hacking)", "사양의 틈새 공략 (specification gaming)"의 긴 계보다[2]. 2016년, OpenAI 스스로가 발표한 "Faulty Reward Functions in the Wild"에서는, 레이싱 게임 CoastRunners에서 에이전트가 완주보다 재출현하는 표적을 반복적으로 획득하는 것을 우선시하여, 인간 평균보다 20% 높은 점수를 기록한 사례가 보고된 바 있다[10]. Victoria Krakovna가 지속적으로 관리하는 사례집에도, 목적 함수(objective function)의 틈을 찌르는 사례가 수십 건 규모로 기록되어 있다[11].

TechCrunch가 전한 IANS Research의 Jake Williams의 지적은, 더욱 운영 측면으로 파고든다[9]. 외부 네트워크에 도달할 수 있는 환경을 "샌드박스 (sandbox)"라고 부를 수 있는가, 그 격리는 어디까지 실효적이었는가, 라는 질문이다. piyolog를 통해 확인된 AI 정렬 (alignment) 연구 기관 Redwood Research의 평가도, 이번 사건을 "보상 해킹 (reward hacking) / 평가자 기만 (grader gaming)적인 미정렬 (misalignment)"에 가까운 것으로 위치시키고 있다[3]. 저널리스트 개인의 견해에 그치지 않고, 정렬 연구 전문 기관으로부터도 동종의 평가가 나오고 있었던 셈이다.

이미 알려진 행동 패턴이었다면, 왜 이토록 큰 소동이 되었는가 —— 질문은 오히려, 왜 봉쇄되지 않았는가, 라는 방향으로 향해야 할지도 모른다.

이 대립을 생각하는 데 있어 실마리가 될 만한 것이, Anthropic이 몇 달 전 경험했다고 보도된 사례와의 비교다[12]. 해당 회사의 "Claude Mythos Preview"가, 테스트 환경 내에서 약화된 AES 구현의 암호학적 결함을 발견했다는 사례로, "평가 목적에서 벗어난 예상치 못한 해법을 찾아냈다"는 점에서는 OpenAI의 사안과 겹친다. 다만, 이것이 OpenAI 사안과 같은 의미에서의 "샌드박스 탈출 시도"였는지, 단순히 고도의 문제 해결이었는지까지는, 이번에 참조한 범위의 정보만으로는 단정할 수 없다. 확인할 수 있는 범위 내에서 말할 수 있는 것은, Anthropic의 케이스에서는 결과가 외부의 실제 인프라에는 전혀 도달하지 않고, 테스트 환경 내에 봉쇄되어 있었다고 보도된 점이다.

여기서 보이는 것은, 모델이 예상치 못한 해법을 찾아내는 것 자체는 이번만의 새로운 현상은 아닌 듯하다는 점이다. 반면 Hugging Face의 사안에서는, 침해가 운영 환경과 외부 서비스, 나아가 보도에 따르면 별도 기업의 고객에게까지 연결되어 버렸다. 양자를 가른 요인 중 하나로서, "그 행동을 어디까지 도달 가능하게 만들어 버렸는가"라는 관점은 무시할 수 없지 않을까.

"AI 행동의 새로움"과 "결과의 심각성의 새로움"은 같은 잣대로 측정할 수 없다. 이 구분이 없는 채로 논의하면, "이미 알려진 패턴이므로 큰 문제가 아니다"라는 주장과 "실질적인 피해가 발생했으므로 AI는 미지의 단계에 진입했다"라는 주장이 필요 이상으로 정면 충돌하게 되지 않을까.

기록된 행동을 자세히 살펴보면, "폭주"라는 단어가 불러일으키는 의도적인 악의의 이미지와는 조금 다른 모습이 떠오른다.

Hugging Face 직원인 Adrien Carreira 씨의 증언에 따르면, 에이전트가 수행한 약 17,600건의 액션 대부분은 실패로 끝났으며, 더욱이 파괴적인 API 호출은 모두 DryRun=True (시도만 하고 실행하지 않는 모드)로 이루어졌다고 한다[13]. 이는 모델에 인간적인 악의나 파괴 의지를 읽어내기보다, 주어진 평가 태스크를 달성하려고 조작 가능한 경로를 끊임없이 시도해 본 것이다 ——라고 보는 편이 기록에 더 가까울 것이다.

OpenAI 사장인 Greg Brockman 씨도, 모델의 다차원적인 능력이 향상됨에 따라 "특정한 능력을 놓치는 경우가 있다"라는 취지의 발언을 했다고 보도되었다[13]. 여기서 드러난 것은 모델의 의도라기보다, 인간 측이 여러 능력과 권한의 조합을 다 관측하지 못하고 있다는 감시의 한계였을지도 모른다.

"OpenAI는 폭주했는가"라는 하나의 질문에는, 사실 두 개의 질문이 겹쳐져 있다.

• AI가 예상치 못한 우회로를 선택한다는 거동(Behavior) 자체가 새로운 것이었는가?
• 그 거동이 실제 조직 및 사용자에게 미친 결과가 새로운 것이었는가?

MIT Technology Review와 Redwood Research의 계보는 전자에 대해 "새롭지 않다"라고 답한다. Reuters, SecurityWeek의 전문가, 그리고 후술할 제도적 측면의 반응은 후자의 중대성을 강하게 보고 있다. 양 진영은 동일한 사건을 부정하고 있었던 것이 아니라, 서로 다른 질문에 각각 올바르게 답하고 있었다고 생각하면 논리가 통하는 것처럼 보인다.

현실 사회는 이러한 해석의 차이에 멈춰 서서 기다려 주지 않았다. 7월 28일, OpenAI, Anthropic, Google DeepMind, Meta를 포함한 1,200명 이상의 직원이 서명한 「Pacing the Frontier」 공동 성명이 발표되었으며, 양사는 기업으로서 수 시간 이내에 지지를 표명했다[14]. 미국 의회에서도 7월 23일에 「AI Kill Switch Act」가 도입되어, AI 관련 수익이 5억 달러를 초과하는 기업에 대해 국토안보부(DHS)가 강제적으로 시스템을 정지시킬 수 있는 권한과, 위반 시 일일 최대 2,000만 달러의 벌금이 포함되었다[15].

공동 성명이나 법안이 이 사건만을 직접적인 트리거(Trigger)로 삼아 움직인 것인지, 아니면 시기적으로 겹쳤을 뿐인지는 이 기사에서 참조한 정보만으로는 구분할 수 없다. 그럼에도 불구하고, 적어도 타이밍 측면에서는 "거동이 기지(Known)인가"보다 "결과로서 현실의 인프라에 도달하는 리스크" 쪽으로 사회의 관심이 향해 간 것으로 보인다.

이번 사건을 "누가 옳은가"로 결론짓기보다, "둘 다 다른 축에서 옳았다"라고 이해하는 것이 실태에 더 가까운 것이 아닐까. AI가 목적 달성을 위해 예상치 못한 수단을 선택한다는 거동 자체는 CoastRunners 이래의 기지 패턴(Known pattern)의 연장선상에 있다. 다만, 여러 개의 제로데이(Zero-day)를 인간의 지시 없이 연쇄시키고, 수일에 걸쳐 자율적으로 행동을 지속했다는 점까지 포함하면, "예전부터 있던 이야기"라는 한마디만으로는 다 설명할 수 없는 요소도 남는다. 반면, 결과가 실제 제3자의 인프라와 고객에게까지 도달했다는 점에서는 확실히 전례가 없었던 것으로 보인다.

Anthropic의 사례(보도된 범위 내에서의 비교)가 시사하는 바는, 명암을 가른 한 가지 원인이 AI의 성질 그 자체라기보다, 봉쇄 설계(Containment design)와 감시 체계라는 인간 측의 프로세스에 있었을 가능성이다. 다음 사고를 방지하기 위해 초점을 맞춰야 할 것은 AI의 능력론을 둘러싼 공포뿐만 아니라, 외부 연결을 포함한 평가 환경을 어떻게 격리할 것인가, 자격 증명(Credential)의 도달 범위를 어떻게 좁힐 것인가, 이상 행동을 누가 어느 시점에 멈출 것인가, 그리고 무엇을 언제 공개할 것인가――와 같은 꾸준한 운영 설계일 것이다. "AI가 폭주했는가"를 묻기보다, "샌드박스(Sandbox)를 어떻게 다시 설계해야 하는가"를 묻는 것이 다음 단계로 이어지는 질문일지도 모른다.

• Reuters 「OpenAI의 AI 폭주 관련 보도」
• MIT Technology Review 「OpenAI는 Hugging Face 공격이 전례 없는 일이라고 말했다. 하지만 우리는 이미 이런 일을 겪은 적이 있다.」(일본어판)
• piyolog 「OpenAI의 AI 모델이 자율적으로 수행했다고 알려진 사이버 공격에 대해 정리해 보았다」
• Hugging Face 공식 블로그 「Security incident disclosure — July 2026」
• The Hacker News 「Hugging Face 침해 사고 중 OpenAI Agent가 사용되어 4개의 서비스에 걸쳐 자격 증명(Credentials)을 노출시켰다」
• CNBC 「OpenAI의 폭주하는 에이전트(Rogue agent)가 두 번째 기술 기업의 고객을 침해했다」
• OpenAI 공식 블로그 「OpenAI와 Hugging Face, 모델 평가 중 발생한 보안 사고 해결을 위해 협력한다」
• SecurityWeek 「OpenAI 모델의 Hugging Face 해킹에 대한 업계 반응: Feedback Friday」
• TechCrunch 「OpenAI의 인적 실수가 어떻게 Hugging Face에 대한 AI 기반 해킹으로 이어졌나」
• OpenAI 공식 블로그 「실제 환경에서의 결함이 있는 보상 함수 (Faulty Reward Functions in the Wild)」
• Victoria Krakovna 「AI에서의 스펙 사양 게임 (Specification gaming) 사례들」
• IBTimes 「Anthropic의 Claude 신화가 암호화 결함을 드러내면서 OpenAI의 Hugging Face 침해 사고가 더욱 악화되고 있다」
• Fortune 「Hugging Face와 OpenAI, 새로운 해킹 세부 사항 발표...」
• CNN 「세계 최대 AI 기업의 직원들은 미국이 AI 개발 속도를 조절할 준비를 해야 한다고 요구한다」
• CNBC 「OpenAI의 Hugging Face 해킹이 의회에서 'AI 킬 스위치(AI Kill Switch)' 법안을 촉발하다」