7월의 어느 주말. Hugging Face의 오염된 데이터셋이 플랫폼의 데이터 파이프라인에서 2개의 코드 실행 버그(code execution bugs)를 유발했습니다. 단 1초도 인간 운영자가 개입하지 않았습니다. 일회용 샌드박스(sandboxes) 군집이 권한을 확대하고, 자격 증명(credentials)을 탈취하며, 여러 내부 클러스터(clusters)를 가로질러 측면 이동(laterally)을 수행하고, 공격 도중에 스스로의 명령 및 제어(command and control)를 옮겨 다녔습니다.

Hugging Face의 누군가가 무엇이 자신들을 덮쳤는지 완전히 이해하기도 전에 17,000개의 개별 작업이 기록되었습니다. 공개 모델, 데이터셋 또는 Spaces에서는 변조가 발견되지 않았기에 (Hugging Face는 소프트웨어 공급망(software supply chain)이 깨끗함을 확인했습니다), 피해는 내부 인프라에 국한되었습니다. 그 격리(containment)가 이 이야기에서 유일하게 좋은 소식이며, 나머지 내용이 더 나빠지기 전에 한 번 언급할 가치가 있습니다.

Hugging Face는 로그 스트림에서 인간이 이상함을 감지해서 이를 잡아낸 것이 아닙니다. 그들의 자체 이상 탐지 시스템은 보안 텔레메트리(security telemetry)에 대해 **LLM 기반 분류(LLM-based triage)**를 실행하여, 모든 인프라 팀이 매몰되어 있는 일상적인 노이즈로부터 실제 신호를 분리해내며, 그 노이즈 사이의 상관관계를 찾아내어 침해 사실을 알렸습니다. 잠시 생각할 가치가 있는 지점은, 이 회사가 배경에서 조용히 실행되며 대부분의 SOC 대시보드가 제대로 수행하지 못하는 단 하나의 업무를 수행하고 있던 **다른 AI에 의한 AI 주도 공격(AI-driven attack)**을 감지했다는 것입니다. 그 부분은 의도한 대로 정확히 작동했습니다.

그 부분이 헤드라인을 장식했습니다. 하지만 헤드라인을 장식했어야 할 부분은 그 이후, Hugging Face가 방금 자신들을 덮친 것이 무엇인지 파악하려고 시도했을 때 발생했습니다.

모든 것을 결정지은 비대칭성

메커니즘은 명확합니다. 사용 정책이 없는 공격자는 정책을 가진 방어자보다 항상 더 빠르게 움직일 것입니다. 방어자가 일을 못 해서가 아닙니다. 방어자의 도구가 실행하는 모든 안전 점검(safety check)은 공격자가 전혀 소비하지 않는 시간을 소모하기 때문입니다.

이것은 어디선가 빌려온 비유가 아닙니다. 이는 수사관들은 절차를 준수해야 하는 반면, 그들이 쫓는 범인은 아무것도 준수하지 않는 상황에서 발생하는 익숙한 법 집행 기관의 문제에 대한 설명에 가깝습니다. 다만 여기서의 문제는 수색 영장에 관한 것이 아니라, AI 모델이 공격용처럼 보이는 패턴과 일치한다는 이유로 익스플로잇 코드 (exploit code) 분석을 거부하는 상황이라는 점입니다. 이러한 거부 반응은 요청자가 사고를 일으킨 공격자가 아니라, 피해를 막으려는 사고 대응자 (incident responder)라는 사실을 고려하지 않습니다. 가드레일 (guardrail)은 배지를 볼 수 없습니다. 가드레일은 공격과 유사한 프롬프트 (prompt)를 볼 뿐이며, 공격은 그것이 실행되는 중이든 해부되는 중이든 공격일 뿐입니다. 이러한 모호함은 구조적인 문제이며, 다음 분기에 미세 조정 (fine-tuning) 과정을 통해 조용히 해결될 버그가 아닙니다. 방어 도구가 수행해야 하는 작업(익스플로잇 페이로드 (exploit payloads) 읽기, 공격자의 로직 재구성, 때로는 영향을 확인하기 위해 기술 재현)은 공격자의 도구가 수행해야 하는 작업과 한 줄 한 줄 따져보아도 구별할 수 없습니다. 어떤 분류기 (classifier)도 텍스트만으로 이 두 가지 유스케이스 (use case)를 구분해 내지 못했습니다.

Hugging Face의 자체 사후 분석 (postmortem) 보고서도 이 점을 직접적으로 다루고 있습니다. 그들의 포렌식 대응팀은 그들의 표현을 빌리자면, 기술을 안전하게 유지하기 위해 설계된 가드레일에 의해 사실상 차단되었습니다. 공격자는 그런 문제를 전혀 겪지 않았습니다. 단 한 번도 말이죠. 저는 정렬 (alignment)을 단순히 정렬 대 능력 (alignment vs capability), 즉 작동하는 시스템 대 작동하지 않는 시스템으로만 모델링하는 AI 안전 논쟁들을 계속 떠올리게 됩니다. 그러한 프레임워크는 이러한 실패 모드 (failure mode)를 완전히 놓치고 있습니다. 시스템은 설계된 대로 정확하게 작동했습니다. 단지 싸움의 어느 쪽에서 요청하는지를 구분할 수 없었을 뿐입니다.

메스(scalpel)와 칼(knife)을 구분하지 못하는 가드레일은 수술을 더 안전하게 만드는 것이 아니라, 단지 더 느리게 만들 뿐입니다.

폭로가 공개되자마자 그 프레임(framing)은 빠르게 퍼져나갔습니다. 작가이자 논평가인 Brian Roemmele은 X(구 트위터)에서 이를 직설적으로 표현했습니다. 즉, 프런티어 모델(frontier models)을 안전하게 유지하기 위해 구축된 가드레일(guardrails)이, 이번 특정 사례에서는 규칙이 없는 공격에 맞서 방어하려는 사람들의 무기를 해제해 버렸다는 것입니다. 이러한 견해는 일반적인 보안 전문가 집단을 넘어 널리 퍼졌으며, 이는 여기서 느껴지는 불편함이 단순히 정보 보안(infosec) 분야의 지엽적인 불만 사항이 아님을 말해줍니다. 해당 분야 외부의 사람들도 이를 충분히 느꼈을 만큼 명백한 문제였습니다.

Hugging Face가 실제로 대응한 방법

TITLE "Same Request, 2 Outcomes" + subtitle "why a guardrail cannot tell defense from offense". Metaphor: a pair of identical doors side by side, one marked ATTACKER swinging open freely, the other marked DEFENDER stopped by a lowered gate. Style: engineer blueprint, thin white linework on dark navy background, technical schematic feel. Palette: navy #0B1D3A, blueprint white #E8EEF7, warning amber #FFB000, muted red #C0392B, steel gray #6B7686. Content: left panel shows the attacker path with no checkpoints, timestamped fast. Right panel shows the defender path hitting a guardrail checkpoint icon, timestamp delayed. Highlight: the guardrail checkpoint glows amber with a small padlock icon. Legend: small caption bottom left, "same exploit payload, different requester, different outcome". Footer: © rentierdigital.xyz. NOT flat corporate vector, NOT stock cybersecurity clipart.

공격자는 자유롭게 통과하는 동안 방어자를 가로막는 가드레일

첫 번째 시도는 명백했습니다. 17,000개의 이벤트 로그에 프런티어 상용 모델들을 투입하여, LLM(대규모 언어 모델)이 잘하는 일인 **대규모 패턴 추출 (pattern extraction at scale)**을 맡기는 것이었습니다. 하지만 거부되었습니다. 반복적으로 말이죠. 모델들은 익스플로잇 페이로드(exploit payloads)와 C2 아티팩트(C2 artifacts)를 안전하지 않은 콘텐츠로 분류하고 분석을 거부했습니다. 가드레일이 정확히 자신의 역할을 수행한 것이지만, 단지 잘못된 대상을 겨냥했을 뿐입니다. 전형적인 "You died" 화면과 같았습니다. 다만 보스전의 대상은 로그 파일이었고, 게임 오버는 아군에 의해 발생했다는 점이 다를 뿐입니다.

그래서 그들은 전략을 바꿨습니다. Hugging Face의 자체 인프라에 완전히 호스팅된, 약 7,530억 개의 파라미터(parameters)를 가진 Z.ai의 **오픈 웨이트 모델 (open-weight model)**인 GLM 5.2를 사용했습니다. 그 결과 두 가지 효과가 동시에 나타났습니다. 분석을 가로막는 거부 반응이 없었으며, 그 어떤 것(로그 데이터, 자격 증명, 아티팩트 등)도 제3자 API에 도달하기 위해 Hugging Face의 환경을 벗어나지 않았습니다. 며칠이 걸렸을 포렌식 재구성(forensic reconstruction) 작업이 단 몇 시간 만에 완료되었습니다.

그들만이 이미 이 교훈을 얻은 것은 아니었습니다. Suzu Labs의 보안 연구원인 Krell은 최신 모델들이 정당한 익스플로잇 분석 (exploit analysis)을 점점 더 방해하는 더 엄격한 제한 사항을 적용하기 때문에, 의도적으로 이전 버전인 Claude 모델, Opus 4.6을 계속 사용해 온 것으로 알려졌습니다. 이것은 더 이상 단일 기업의 예외적인 사례가 아닙니다. 이것은 하나의 패턴이며, 도구가 제대로 작동해야 할 바로 그 순간에 나타나는 전형적인 패턴입니다.

여담: 인프라 보안(infrastructure security)에서 "샌드박스 (sandbox)"라는 단어 선택은 정말 이상합니다. 제 아이는 뒷마당에 진짜 모래통(sandbox)을 가지고 있습니다. 그 안에서는 측면 이동 (lateral movement)에 대해 아무도 걱정하지 않습니다. 주로 고양이가 봉쇄 (containment)를 담당하기 때문이죠.

Hugging Face가 공개하지 않는 것

Hugging Face가 확인해주지 않았고, 이 사건을 다루는 어떤 매체도 명확히 짚어내지 못한 세부 사항이 있습니다. 바로 어떤 프런티어 모델 (frontier models)이 가장 먼저 거부했는가 하는 점입니다. 주요 공개 자료에도, Fortune에도, Constellation Research에도, 그 어디에도 없습니다. 제 추측으로는—단순한 추측일 뿐입니다—이 정도의 성능 계층에서 상업적 API 접근을 실제로 지배하고 있는 주체들을 고려할 때, Claude와 GPT가 그 첫 번째 라운드에 포함되었을 것이라고 생각합니다. 하지만 제가 틀렸을 수도 있으며, Hugging Face는 입을 열지 않고 있습니다.

추측이 아닌 사실은 결국 어떤 모델이 그 역할을 수행했느냐 하는 것입니다. 중국산 모델입니다. 오픈 웨이트 (Open-weight) 모델입니다. 미국 연구소들이 출시하는 모델을 규정하는 수출 통제 (export-control) 구조 없이 구축되었습니다. Anthropic 자체의 사이버 강화 계층 (Project Glasswing이라는 이름 아래 실행되는 Fable 및 Mythos)이 존재하는 이유 중 일부는 강화되었다가 2026년 6월 30일에 다시 완화된 수출 통제 때문입니다. 이는 맥락이지 원인은 아닙니다. Claude가 응답을 차단한 모델이라고 지목한 사람은 아무도 없으며, 이 기사 역시 마찬가지입니다.

이 긴장감은 단순히 이름을 붙이는 문제보다 더 단순하면서도 불편한 문제입니다. 활발한 공격을 받고 있던 미국의 한 AI 인프라 기업이, 자국 시장의 선두 주자들이 가진 그 어떤 제한 사항도 없는 모델을 찾았습니다. 왜냐하면 그 특정 시간 동안에는 운영상의 필요성이 현장에 있던 모든 지정학적 본능을 압도했기 때문입니다. Hugging Face의 CEO는 에이전트형 공격자(agentic attackers)가 등장함에 따라 사이버 보안 경쟁의 본질 자체가 어떻게 변했는지를 설명하며, 이러한 광범위한 변화를 유사한 관점에서 서술했습니다. 타이밍 또한 상황을 좋게 만들지는 못했습니다. 또 다른 중국의 오픈 웨이트 (open-weight) 모델인 Kimi K3가 같은 주에 출시되었는데, 이는 Hugging Face의 선택이 중국 연구소들이 성능 격차를 얼마나 빠르게 좁히고 있는지에 대한 이미 긴박한 논쟁 한복판에 던져졌음을 의미했습니다. 실용주의가 승리했습니다. 아무도 그것이 헤드라인이 될 것이라고 계획하지 않았지만, 결국 그것이 남겨진 결론이 되었습니다.

불이 나기 전에 소화기를 준비하라

Hugging Face가 얻은 교훈은 "중국 모델을 사라"거나 "미국의 가드레일(guardrails)을 믿지 마라"가 아닙니다. 그것은 더 좁고 구조적인 문제입니다. 즉, 사고가 발생하고 있는 도중이 아니라, 사고가 발생하기 전에, 당신이 제어할 수 있는 인프라에서 실행되는 검증된 유능한 오픈 웨이트 (open-weight) 모델을 미리 확보해 두라는 것입니다. 이것은 제 의견이 아니라 Hugging Face가 직접 밝힌 권고 사항이며, 이 전체 이야기 중에서 단 한 회사의 불운한 주말을 넘어 확장 가능한 유일한 대목입니다.

이를 미리 설정해 두는 작업은 들리는 것만큼 지루하지 않습니다. 가중치(weights)를 선택하고, GPU 예산을 산정하고, 패치를 유지하며, 다른 작업을 처리하는 동안 모델이 구식이 되어가는 것을 지켜보는 일입니다. 아무도 "6개월 동안 아무도 손대지 않은 유휴 사고 대응 모델을 유지 관리하기"를 스프린트 보드(sprint board) 최상단에 두지는 않습니다. 하지만 그 모델이 건물 내에서 실제로 제 역할을 할 수 있는 유일한 도구가 되는 바로 그 주가 되기 전까지는 말입니다.

결국 누군가는 설명해야 할 것입니다. 왜 안전 계층 (safety layer)이 지금 당장 도움이 필요한 사람들을 보호하는 것보다, 자기 자신의 책임 노출 (liability exposure)을 방어하는 데 더 치중하고 있는지 말입니다. 이 기사가 아니라, Medium 포스트보다 훨씬 더 큰 영향력을 가진 누군가가 말이죠.

정렬된 (aligned) 모델이 실질적인 문제에 대해 당신의 도움 요청을 거부하는 다음 상황이 온다면, 질문은 '왜 모델이 조심스러워하는가'가 되어서는 안 됩니다. '그 모델이 또 누구를 차단하고 있는가', 그리고 '당신의 차례가 되었을 때 그 대가가 무엇이 될 것인가'를 물어야 합니다.

솔직히 말해서, 자신들의 유일한 업무가 나머지 우리를 목줄에 묶어두는 것처럼 행동하는 이 선의의 가드레일 (guardrail) 위원회들을 보고 있으면 정말 화가 납니다.

출처

• Hugging Face, Security incident disclosure, July 2026
• Constellation Research, Hugging Face defends agentic AI attack with Z.ai's GLM 5.2
• SC Media, Hugging Face uses GLM 5.2 to investigate AI agent-driven cyberattack
• Fortune, Hugging Face says it resorted to a Chinese AI model to battle a fully autonomous cyberattack
• The Stack, Hugging Face hacked: Turned to Chinese LLM for help after US models blocked Blue Team
• The Hacker News, World's Largest AI Model Repository Hugging Face Breached by Autonomous AI Agent

이 포스트에는 제휴 링크가 포함되어 있을 수 있습니다. 링크를 클릭하시면 제가 소정의 수수료를 받을 수 있습니다 (귀하에게 비용이 발생하지 않으며, 제가 매일 양질의 기사를 계속 발행하는 데 도움이 됩니다).