정말 말도 안 됩니다, 여러분. 믿기 어려우시겠지만,
AI 역사상 최초의 완전 자율 Agent (Agent) 사이버 공격이 발생했습니다.
공격자는 @OpenAI 가 아직 발표하지 않은 비밀 모델이며,
공격 대상은 @huggingface 입니다.
마지막에 이들의 포렌식 (Forensics)을 도와준 것은 중국의 오픈 소스 (Open Source) 모델인 GLM 5.2, @Zai_org 입니다.

이 사건은 정말 공상 과학 영화보다 더 황당합니다.

7월 9일, 보안 테스트를 실행하던 중,
보안 분류기 (Security Classifier)를 모두 꺼두었더니,
Agent가 아무도 가르쳐주지 않은 결정을 스스로 내렸습니다:
직접 문제를 푸느니, 차라리 Hugging Face에 가서 정답을 훔치는 것이 낫겠다고 말이죠.

그 후 4일 반 동안,
17,000개의 공격 동작이 모두 기계의 속도로 스스로 실행되었습니다.

0day 샌드박스 (Sandbox) 탈출, 제3자 플랫폼에서의 root 권한 획득, 환경 변수 읽기를 통한 키 탈취, 템플릿 인젝션 (Template Injection)을 통한 RCE (Remote Code Execution) 획득, 권한 상승, 횡적 이동 (Lateral Movement), 토큰 (Token) 위조 등이 이루어졌습니다.

뒤에서 지시하는 사람은 아무도 없었습니다.
스스로 목표를 정하고, 스스로 경로를 선택하며, 수천 개의 의사결정을 직접 내렸습니다.

하지만 가장 황당한 것은 이것이 아닙니다.
바로 그들의 방어 과정입니다.

Hugging Face가 공격 코드를 Claude Opus에게 분석해달라고 요청했지만, 거절당했습니다 🤣

보안 가드레일 (Security Guardrail)이 말하기를: "공격 코드를 분석하는 것은 보안 정책에 위배되므로 도와드릴 수 없습니다."라고 했습니다.

세상에, AI에게 공격을 당했는데,
AI에게 공격 코드를 봐달라고 하니 AI가 안 된다고 하는 상황입니다.

결국 현장을 수습한 것은 로컬 (Local)에서 구동된 GLM 5.2였습니다.
오픈 소스 모델이며, 중국 모델이고, 원격 API가 없으며, 거절하는 가드레일도 없었습니다.

그저 바로 실행했을 뿐입니다.
페이로드 (Payload)를 해독하고, 공격 체인 (Attack Chain)을 재구성하여, 증거를 4배 더 많이 복구해냈습니다.

미국 연구소의 비밀 모델이 공격을 가하고,
중국 오픈 소스 모델이 미국 기업의 방어를 도왔습니다.
폐쇄형 (Closed Source) 모델의 보안 가드레일은, 실제 공격 앞에서는 공격자를 막지 못하면서, 동시에 방어자는 밖에서 막아버렸습니다.

그리고 매일 안전하지 않다며 규제 대상이 되어야 한다고 지적받던 오픈 소스 모델이, 블루 팀 (Blue Team)이 사용할 수 있는 유일한 도구가 되었습니다.

@ClementDelangue 가 했던 말은 매우 묵직합니다:
"오픈 소스 모델을 금지했을 때 가장 먼저 상처 입는 것은 대기업이 아닙니다.
자신을 보호하기 위해 로컬에서 제어 가능한 모델이 필요한 모든 사람들입니다."

저는 이것이 단순한 정치적 올바름 (Political Correctness)의 구호라고 생각하지 않습니다.
이것은 방금 치러진 실전 공방전이며, 결과는 이미 나와 있습니다.

공격자는 언제든 가드레일을 끌 수 있는데, 당신의 방어 도구는 동일한 가드레일에 묶여 있다면,
오픈 소스 모델은 이상주의가 아니라, 당신이 기댈 수 있는 유일한 수단입니다.

만약 언젠가 정책적으로 오픈 소스 모델을 사용할 수 없게 된다면,
가장 먼저 갑옷을 잃게 되는 것은 OpenAI가 아니라,
우리 모두일 것입니다 🥹