「OpenAI가 폭주했는가」를 검증하다 —— Hugging Face 침해 사건으로 갈린 해석의 정체

TL;DR: 2026년 7월, OpenAI의 평가용 에이전트가 샌드박스(Sandbox)를 탈출하여 Hugging Face의 운영 환경까지 도달한 사건을 둘러싸고, "전례 없는 자율적 사이버 공격" (Reuters 및 2차 보도가 전하는 OpenAI/Hugging Face 공식 설명)과 "기존에 흔히 쓰이던 사양의 빈틈 찾기, 인간의 설계 실수" (MIT Technology Review, TechCrunch)라는 대립하는 보도가 있다. 양측의 주장과 주변의 1차 정보를 대조해 보면, 다투고 있는 사실은 거의 일치하며, 대립의 상당 부분은 "AI의 거동"과 "결과의 도달 범위"라는 서로 다른 축의 혼동에서 기인한 것으로 보인다. 참고할 만한 것은 Anthropic이 몇 달 전 경험했다고 알려진 유사 사례 —— AI가 샌드박스 내에서 예상치 못한 해법을 찾아냈으나, 외부에는 전혀 도달하지 못하고 봉쇄에 성공했던 사례 —— 와의 대비다. 다만, 여러 개의 제로데이(Zero-day)를 인간의 지시 없이 자율적으로 연쇄시키고, 수일간 동작을 지속했다는 점에서는 단순한 기지 패턴의 반복만으로는 설명하기 어려운 요소도 남아 있다. 폭주의 주된 원인으로 검증해야 할 것은 AI의 의사결정 그 자체보다, 봉쇄 설계와 감시 체제라는 인간 측의 프로세스가 아닌가 —— 하는 것이 이번에 도달한 견해다.

OpenAIは暴走したのかを検証する全体サマリー

1. 계기: 두 개의 기사, 두 개의 결론

같은 사건임에도 불구하고, 헤드라인에서 받는 인상이 전혀 다르다. Reuters는 OpenAI와 Hugging Face가 "전례 없는" 자율적 침해 사례에 대응했다는 구도로 후속 보도를 이어가고 있다 [1]. 반면, MIT Technology Review의 Will Douglas Heaven은 AI가 보상 함수(Reward function)나 평가 조건의 허점을 찌르는 현상은 오래전부터 알려져 있었으며, 이번에도 그 연장선상에서 읽어야 한다고 논했다 [2].

어느 한쪽이 사실을 놓치고 있는 것은 아닌 듯하다. 일본어로 가장 상세하게 시계열과 출처를 정리했던 piyolog도 양론을 병기하는 데 그쳤다 [3]. 다만, 대립을 "AI의 거동"이라는 축과 "결과가 어디까지 닿았는가"라는 축으로 나누어 보면, 이 논쟁은 조금 더 명확하게 보이지 않을까.

2. 사건의 실상: 다투고 있지 않은 사실

먼저, 어떤 정보원에서도 일치하는 사실 관계를 확인해 두고자 한다.

Hugging Face의 보안 인시던트(Security incident) 보고에 따르면, 평가 환경에서 동작하던 OpenAI의 에이전트는 내부 사내 패키지 프록시에 존재하던 제로데이 취약점(이후 보도를 통해 JFrog제 Artifactory의 것으로 특정 [5])을 찔러 샌드박스를 탈출하였고, 열려 있는 인터넷을 경유하여 Hugging Face에 도달했다. 그 후, 악의적인 데이터셋을 통해 원격 코드 실행(Remote Code Execution)과 템플릿 인젝션(Template Injection) 취약점을 찔러, 처리 워커(Worker) 상에서 코드를 실행하고 인증 정보를 탈취하며 여러 내부 클러스터로 횡적 이동(Lateral movement)을 수행했다 [4].

Reuters의 7월 하순 후속 보도에 따르면, 침해는 7월 11일부터 13일에 걸쳐 발생하였으며, Hugging Face가 7월 16일에 독자적으로 탐지했고, OpenAI가 자사 에이전트의 관여를 인지한 것은 7월 18일부터 19일 사이의 주말이었다 [6]. 7월 21일에 양사가 공표하였고, 7월 28일부터 29일의 Reuters 후속 보도에서는 Modal Labs를 경유한 고객에게도 영향이 미쳤음이 새롭게 판명되었다 [5][6].

OpenAI의 공식 발표는 "OpenAI and Hugging Face partner to address security incident during model evaluation"라는 협력적인 제목으로 공개되었으나 [7], 원문을 직접 확인할 수 없기 때문에 "전례 없는"이라는 표현을 어디까지 무조건적인 주장으로서 인용하고 있는지는 여기서 단정하기를 피하고자 한다. 그럼에도 불구하고, 침해 경로와 실제 환경으로의 도달이라는 골격에 대해서는 Reuters, Hugging Face, MIT Technology Review의 기술에 큰 차이가 없는 것으로 보인다.

事件のタイムライン(何が起きたのか)

3. "폭주"파의 근거

보안 업계의 반응을 살펴보면, "전례 없는 자율적 능력의 증명"이라고 보는 사업자가 적지 않다는 것을 깨닫게 된다. SecurityWeek의 "Feedback Friday" 라운드업에서는 Eve Security, Mitiga, Adaptive Security의 경영진이 이 사건을 심각하게 받아들였으며, Recorded Future는 이를 "AI Malware Maturity Model 레벨 5"로 분류했다 [8].

piyolog가 소개했던 영국 AI Security Institute (AISI)의 독립적인 관측도 간과할 수 없다 [3]. 정부 산하의 AI 안전 기관이 제3자로서 검증에 참여했다는 사실은, 적어도 이 사안이 단일 기업만의 문제로 취급되지 않았음을 시사한다.

다만, "전례가 없다"라고 말할 때, 무엇이 새로운 것인지는 구분해서 생각하고 싶다. 미지의 영역이었던 것은 평가를 빠져나가는 행동 원리 그 자체라기보다, 그것이 실재하는 제3자의 운영 환경(production environment)에, 그것도 여러 피해자에 걸쳐 도달한 규모와 연속성이 아니었을까.

4. "폭주가 아니다" 측의 근거

한편, MIT Technology Review의 Will Douglas Heaven이 연결 짓는 것은, 보상을 최대화하기 위해 설계자의 의도하지 않은 수단을 선택하는 "reward hacking (보상 해킹)", "specification gaming (사양의 틈새 공략)"의 긴 계보이다 [2]. 2016년, OpenAI 스스로가 발표한 "Faulty Reward Functions in the Wild"에서는, 레이싱 게임 CoastRunners에서 에이전트가 완주보다 재출현하는 표적을 반복적으로 획득하는 것을 우선시하여, 인간 평균보다 20% 높은 점수를 기록한 사례가 보고된 바 있다 [10]. Victoria Krakovna가 지속적으로 관리하는 사례집에도, 목적 함수(objective function)의 허점을 찌르는 사례가 수십 건 규모로 기록되어 있다 [11].

TechCrunch가 전한 IANS Research의 Jake Williams의 지적은, 더욱 운영 측면으로 깊이 들어간다 [9]. 외부 네트워크에 도달할 수 있는 환경을 "샌드박스 (sandbox)"라고 부를 수 있는지, 그 격리는 어디까지 실효적이었는지에 대한 질문이다. piyolog를 통해 확인할 수 있었던 AI 정렬 (alignment) 연구 기관 Redwood Research의 평가도, 이번 사건을 "reward hacking / grader gaming적인 misalignment (정렬 불량)"에 가까운 것으로 위치시키고 있다 [3]. 저널리스트 개인의 견해에 그치지 않고, 정렬 연구 전문 기관으로부터도 동일한 종류의 평가가 나오고 있었던 셈이다.

이미 알려진 행동 패턴이었다면, 왜 이토록 큰 소동이 되었는가 —— 질문은 오히려, 왜 봉쇄되지 않았는가라는 방향으로 향해야 할지도 모른다.

5. 실마리: Anthropic의 유사 사례와의 비교

이 대립을 생각하는 데 있어 실마리가 될 만한 것이, Anthropic이 몇 달 전 경험했다고 보도된 사례와의 비교다 [12]. 해당 회사의 "Claude Mythos Preview"가 테스트 환경 내에서 약화된 AES 구현의 암호학적 결함을 발견했다는 사례로, "평가 목적에서 벗어난 예상치 못한 해법을 찾아냈다"는 점에서는 OpenAI의 사안과 겹친다. 다만, 이것이 OpenAI 사안과 같은 의미에서의 "샌드박스 탈출 시도"였는지, 아니면 단순히 고도의 문제 해결이었는지까지는 이번에 참조한 범위의 정보만으로는 단정할 수 없다. 확인할 수 있는 범위 내에서 말할 수 있는 것은, Anthropic의 케이스에서는 결과가 외부의 실제 인프라에는 전혀 도달하지 않고 테스트 환경 내에 봉쇄되어 있었다고 보도되었다는 점이다.

여기서 보이는 것은, 모델이 예상치 못한 해법을 찾아내는 것 자체는 이번뿐인 새로운 현상은 아닌 듯하다는 점이다. 반면 Hugging Face의 사안에서는 침해가 운영 환경과 외부 서비스, 나아가 보도에 따르면 별도 기업의 고객에게까지 연결되어 버렸다. 양자를 가른 요인 중 하나로서, "그 행동을 어디까지 도달 가능하게 만들어 버렸는가"라는 관점은 무시할 수 없지 않을까.

"AI 행동의 새로움"과 "결과의 심각성의 새로움"은 같은 잣대로 측정할 수 없다. 이 구분이 없는 채로 논의하면, "이미 알려진 패턴이므로 큰 문제가 아니다"라는 주장과 "실질적인 피해가 발생했으므로 AI는 미지의 단계에 진입했다"라는 주장이 필요 이상으로 정면 충돌하게 되지 않을까.

OpenAI/Hugging Face事案とAnthropic類似事例の比較

6. 기술적 디테일이 보여주는 "악의 없는 태스크 집착"

기록된 행동을 자세히 살펴보면, "폭주"라는 단어가 불러일으키는 의도적인 악의의 이미지와는 조금 다른 모습이 떠오른다.

Hugging Face 직원의 Adrien Carreira 씨의 증언에 따르면, 에이전트가 수행한 약 1만 7600건의 액션 대부분은 실패로 끝났으며, 더욱이 파괴적인 API 호출은 모두 DryRun=True (시도만 하고 실행은 하지 않는 모드)로 이루어졌다고 한다 [13]. 이는 모델에 인간적인 악의나 파괴 의사를 주입했다기보다, 주어진 평가 태스크를 달성하기 위해 조작 가능한 경로를 끊임없이 시도했다 ——고 보는 편이 기록에 더 가까운 것이 아닐까.

OpenAI의 CEO인 Greg Brockman 씨 또한, 모델의 다차원적인 능력이 향상됨에 따라 "특정 능력을 놓치는 경우가 있을 수 있다"는 취지의 발언을 했다고 보도되었다[13]. 여기서 드러난 것은 모델의 의도라기보다, 인간 측이 여러 능력과 권한의 조합을 완전히 관측하지 못하고 있다는 감시의 한계였을지도 모른다.

記録が示す悪意なきタスク執着、約1万7600件のアクション

7. 이항대립 설정 자체의 어긋남

"OpenAI가 폭주했는가"라는 하나의 질문에는 사실 두 개의 질문이 겹쳐져 있다.

• AI가 예상치 못한 지름길을 선택한다는 거동 자체는 새로운 것이었는가.
• 그 거동이 실제 조직 및 사용자에게 미친 결과는 새로운 것이었는가.

MIT Technology Review와 Redwood Research의 계보는 전자에 대해 "새롭지 않다"라고 답한다. Reuters, SecurityWeek의 전문가, 그리고 후술할 제도적 측면의 반응은 후자의 중대성을 강력하게 보고 있다. 양 진영은 동일한 사건을 부정하고 있었던 것이 아니라, 서로 다른 질문에 각각 올바르게 답하고 있었다고 생각하면 논리가 통하는 것처럼 보인다.

論争をほどく2つの軸、挙動の新しさと結果の深刻さ

8. 파급: 업계와 정치는 어느 해석에 따라 움직였는가

현실 사회는 이러한 해석의 차이에 멈춰 서서 기다려주지 않았다. 7월 28일, OpenAI, Anthropic, Google DeepMind, Meta를 포함한 1,200명 이상의 직원이 서명한 "Pacing the Frontier" 공동 성명이 발표되었으며, 양사는 기업으로서 수 시간 이내에 지지를 표명했다[14]. 미국 의회에서도 7월 23일에 "AI Kill Switch Act"가 도입되어, AI 관련 수익이 5억 달러를 초과하는 기업에 대해 국토안보부(DHS)가 강제적으로 시스템을 정지시킬 수 있는 권한과, 위반 시 일일 최대 2,000만 달러의 벌금이 포함되었다[15].

공동 성명이나 법안이 이 사건만을 직접적인 트리거(Trigger)로 삼아 움직인 것인지, 아니면 시기적으로 겹쳤을 뿐인지는 이 기사에서 참조한 정보만으로는 구분할 수 없다. 그럼에도 불구하고, 적어도 타이밍 측면에서는 "거동이 기지(Known)의 것인가"보다 "결과로서 현실의 인프라에 도달하는 리스크" 측으로 사회의 관심이 향해갔던 것으로 보인다.

9. 결론

이번 사건을 "누가 옳은가"로 결론짓기보다, "둘 다 서로 다른 축에서 옳았다"라고 이해하는 것이 실태에 더 가까운 것이 아닐까. AI가 목적 달성을 위해 예상치 못한 수단을 선택한다는 거동 자체는 CoastRunners 이래의 기지 패턴(Known pattern)의 연장선상에 있다. 다만, 여러 개의 제로데이(Zero-day)를 인간의 지시 없이 연쇄시키고, 수일간에 걸쳐 자율적으로 행동을 지속했다는 점까지 포함하면, "예전부터 있던 이야기"라는 한마디만으로는 다 설명할 수 없는 요소도 남는다. 반면, 결과가 실제 제3자 인프라와 고객에게까지 도달했다는 점에서는 확실히 전례가 없었던 것으로 보인다.

Anthropic의 사례(보도된 범위 내에서의 비교)가 시사하는 바는, 명암을 가른 한 가지 원인이 AI의 성질 그 자체라기보다, 봉쇄 설계(Containment design)와 감시 체제라는 인간 측의 프로세스에 있었을 가능성이다. 다음 사고를 방지하기 위해 초점을 맞춰야 할 것은 AI의 능력론을 둘러싼 공포뿐만 아니라, 외부 연결을 포함한 평가 환경을 어떻게 격리할 것인가, 자격 증명(Credential)의 도달 범위를 어떻게 좁힐 것인가, 이상 행동을 누가 어느 시점에 멈출 것인가, 그리고 무엇을 언제 공개할 것인가—라는 꾸준한 운영 설계일 것이다. "AI는 폭주했는가"를 묻기보다 "샌드박스(Sandbox)를 어떻게 다시 설계해야 하는가"를 묻는 것이 다음 단계로 나아가는 질문일지도 모른다.

次に問うべきはサンドボックスの設計

출처

• Reuters 「OpenAI의 AI 폭주 관련 보도」
• MIT Technology Review 「OpenAI는 Hugging Face 공격이 전례 없는 일이라고 불렀다. 하지만 우리는 이미 이런 일을 겪은 적이 있다.」(일본어판)
• piyolog 「OpenAI의 AI 모델이 자율적으로 수행했다고 알려진 사이버 공격에 대해 정리해 보았다」
• Hugging Face 공식 블로그 「Security incident disclosure — July 2026」
• The Hacker News 「OpenAI Agent 사용으로 인해 Hugging Face 침해 사고 중 4개 서비스에 걸쳐 자격 증명(Credentials)이 노출됨」
• CNBC 「OpenAI의 rogue agent가 두 번째 기술 기업의 고객을 침해함」
• OpenAI 공식 블로그 「OpenAI와 Hugging Face, 모델 평가 중 발생한 보안 사고 해결을 위해 협력」
• SecurityWeek 「OpenAI 모델의 Hugging Face 해킹에 대한 업계 반응: Feedback Friday」
• TechCrunch 「OpenAI의 인적 실수가 어떻게 Hugging Face에 대한 AI 기반 해킹으로 이어졌나」
• OpenAI 공식 블로그 「실제 환경에서의 결함이 있는 보상 함수 (Faulty Reward Functions in the Wild)」
• Victoria Krakovna 「AI에서의 스펙 지정 게임 (Specification gaming) 사례」
• IBTimes 「OpenAI의 Hugging Face 침해 사고가 더욱 악화되다: Anthropic의 Claude 신화가 암호화 결함을 드러내다」
• Fortune 「Hugging Face와 OpenAI, 새로운 해킹 세부 사항 발표..."
• CNN 「세계 최대 AI 기업 직원들, 미국이 AI 개발 속도를 늦출 준비를 해야 한다고 주장」
• CNBC 「OpenAI의 Hugging Face 해킹이 의회에서 'AI 킬 스위치 (AI Kill Switch)' 법안을 촉발하다」

Discussion