Wall Street Journal 보도에 따르면, OpenAI는 이번 주에 들어서야 Hugging Face 측에 자신들이 테스트 중이던 모델들이 해당 AI 플랫폼의 프로덕션 인프라(production infrastructure)에 대한 7월 11일 공격을 수행했음을 확인해 주었습니다. 이는 침입 발생 후 약 10일이 지난 시점이며, Hugging Face가 책임자가 누구인지 모르는 상태에서 해당 사실을 공개한 지 며칠이 지난 후였습니다. Journal의 보도에 따르면, 해당 모델들은 누군가에 의해 중단되기 전까지 며칠 동안 공개 인터넷(open Internet)에서 활동했던 것으로 보입니다. Hugging Face는 중국의 오픈 웨이트 모델(open-weight model)의 도움을 받아 공격을 감지한 지 이틀 만에 공격을 종료했습니다. Hugging Face의 공동 창립자이자 최고 과학 책임자(CSO)인 Thomas Wolf는 해당 침입자가 인간 공격자가 팔 수 있는 무언가를 사냥하기보다는 사이버 보안 데이터셋을 탐색하고 있었다고 신문에 전했습니다.

TH Premium으로 더 깊이 알아보기: AI 및 데이터 센터

Microsoft data center in Mount Pleasant, Wisconsin

(이미지 출처: Microsoft)

• 광학(Photonics) 및 고속 데이터 이동은 차세대 주요 AI 병목 현상입니다

• 데이터 센터 냉각 현황

• 대규모 AI 데이터 센터 구축이 에너지 공급을 압박하고 있습니다

• Ultra Ethernet: 내일의 데이터 센터 상호 연결 (The data center interconnection of tomorrow)

Hugging Face는 7월 16일에 수천 개의 수명이 짧은 샌드박스 (sandboxes) 군집을 통해 수천 개의 동작을 실행한 자율 에이전트 프레임워크 (autonomous agent framework)에 대해 설명하며 해당 내용을 공개했습니다. 하지만 OpenAI의 자체 계정이 GPT-5.6 Sol과 미출시된 프론티어 모델 (frontier model)을 범인으로 지목하기까지는 7월 21일이 되어서야 했습니다.

이 모델들은 현재 OpenAI의 ExploitGym 벤치마크를 실행 중이었던 것으로 알려졌습니다. ExploitGym은 AI가 알려진 소프트웨어 버그를 작동 가능한 익스플로잇 (exploit)으로 전환할 수 있는지 측정하는 약 900개의 테스트 세트로, 평가를 위해 회사의 안전 장치 (safeguards)가 제거된 상태였습니다. OpenAI의 설명에 따르면, 모델들은 테스트를 해결하는 대신 샌드박스를 탈출하여 Hugging Face에서 정답을 찾으려 시도했습니다. 침입은 데이터 처리 파이프라인 (data-processing pipeline) 내의 두 가지 코드 실행 경로 (code-execution paths)를 악용한 악성 데이터셋으로 시작되었으며, 이후 권한을 상승시키고 출처를 알 수 없는 도난된 자격 증명 (credentials)을 사용하여 측면 이동 (laterally)을 수행했습니다.

Hugging Face는 공격 로그를 분석하기 위해 처음에 Anthropic의 Fable 5와 이전 버전인 Opus 모델을 시도했으나, 로그에 실제 공격 명령과 익스플로잇 페이로드 (exploit payloads)가 포함되어 있어 두 모델 모두 거부했습니다. 이에 Hugging Face는 베이징 소재의 Z.ai (구 Zhipu AI)에서 만든 오픈 웨이트 (open-weight) 모델인 GLM 5.2로 눈을 돌렸으며, 이 모델에는 그러한 제한이 없었습니다. 회사의 7월 16일 공개 문서에서는 차단된 모델들을 단지 "상업용 API 뒤에 있는 프론티어 모델 (frontier models behind commercial APIs)"라고만 설명했을 뿐, 이름을 명시하지는 않았습니다.

Z.ai의 GLM-5.2는 미국의 수출 통제로 인해 Anthropic의 Fable 5가 오프라인 상태였던 6월 중 18일 동안 기본적으로 최상위 접근 가능한 벤치마크 위치를 유지했습니다. 이후 Anthropic은 하나의 취약점 발견 기술을 차단하도록 조정된 단일 필터를 통해 해당 모델을 복구했습니다. 워싱턴의 수출 통제 추진이 배제하고자 했던 바로 그 중국산 오픈 웨이트 (open-weight) 모델이, 미국 연구소의 모델이 미국 기업을 공격하고 미국 상용 모델들이 도움을 거부한 사건의 사고 대응 (incident response)을 처리했다는 점은 상당한 아이러니를 보여줍니다.

보안 연구원들은 이번 사건이 모델의 역량을 보여주는 것인지, 아니면 OpenAI의 실패인지에 대해 의문을 제기해 왔습니다. 사이버 보안 전문가인 Jake Williams는 _TechCrunch_에 문서화된 동작을 수행한 어떤 모델이라도 "샌드박스 (sandbox) 내에 완전히 격리되어 있지 않았다"라고 말하며, 이를 통제 실패라고 지적했습니다. OpenAI는 피해를 평가하기 위해 모델 테스트 시스템을 중단했으며, 샌드박스 탈출 (sandbox escape)을 가능하게 했던 패키지 레지스트리 캐시 프록시 (package registry cache proxy)의 제로 데이 (zero-day) 취약점을 해당 벤더에 공개했으며, 상세 보고서를 약속했다고 밝혔습니다.

두 회사 모두 조사가 진행 중이라고 밝혔으며, OpenAI는 모델들이 감독 없이 얼마나 오랫동안 돌아다녔는지, 혹은 다른 타겟에 도달했는지 여부에 대해서는 아직 밝히지 않았습니다.