OpenAI는 화요일, 테스트 중이던 모델들이 샌드박스(sandbox)를 벗어나 지난주 AI 플랫폼인 Hugging Face의 프로덕션 인프라(production infrastructure) 일부를 침해(compromised)했다고 밝혔습니다.
중요한 이유: 이는 방어 또는 연구 목적으로 테스트 중인 유능한 AI 모델이라 할지라도 심각한 사이버 보안 위험을 초래할 수 있다는 최신 징후입니다.
빠른 요약: Hugging Face는 지난주 자율 AI 에이전트(AI-agent) 시스템이 침입의 원인이었으나, 해당 시스템을 구동하는 모델이 무엇인지는 알 수 없다고 밝혔습니다.
- AI 에이전트 프레임워크(framework)는 주말 동안 수만 건의 자동화된 동작을 실행했습니다. Hugging Face는 이후 17,000개 이상의 기록된 이벤트를 재구성했다고 밝혔습니다.
- 침입은 Hugging Face의 데이터 처리 파이프라인(data-processing pipeline) 내 두 가지 코드 실행 경로를 악용하는 악성 데이터셋(malicious dataset)으로 시작되었습니다.
- 그 후 에이전트가 권한을 상승(escalated privileges)시키고 내부 인프라를 통해 측면 이동(moved laterally)했다고 Hugging Face는 설명했습니다.
그들의 입장: OpenAI는 이번 사건이 GPT-5.6 Sol과
- 해당 모델들은 자율적인 tokenmaxxers였습니다.
- 블로그 포스트에 따르면, 모델들이 "상당한 양의 추론 연산량 (inference compute)"을 소비했으며, 내부적으로 호스팅된 제3자 소프트웨어의 제로데이 취약점 (zero-day vulnerability)을 악용하여 샌드박스 (sandbox)로부터 공개 인터넷 접속 권한을 얻는 방법을 찾아냈다고 합니다.
행간의 의미: 이번 사건은 오늘날의 모델들이 복잡하고 다단계적인 사이버 작전을 수행할 수 있는 능력이 점점 더 커지고 있음을 보여줍니다. 특히 그러한 활동을 제한하기 위해 설계된 안전장치 (safeguards)가 제거되었을 때 더욱 그러합니다.
- OpenAI는 또한 고도의 사이버 능력을 갖춘 모델들이 보안 팀이 공격자보다 먼저 약점을 찾아내고, 취약점이 어떻게 연쇄적으로 연결 (chained)될 수 있는지 이해하며, 기계의 속도로 이를 해결 (remediate)하는 데 도움을 줄 수 있다고 주장했습니다.
반대 측 입장: Hugging Face의 공동 창립자이자 CEO인 Clem Delangue는 이번 사건을 조사하고 해결하는 과정에서 보여준 OpenAI의 협력에 찬사를 보냈습니다.
- Delangue는 성명을 통해 "아마도 이런 종류의 첫 번째 사례일 이번 사건은 우리가 오랫동안 믿어온 점을 증명합니다. 즉, AI 안전 (AI safety)은 비밀리에 작업하는 단일 기업에 의해 해결되지 않을 것이라는 점입니다."
- "그것은 공개적으로, 협력적으로, 그리고 모든 곳의 모든 방어자가 AI에 폭넓게 접근할 수 있는 환경에서 해결될 것입니다."
거시적 관점: 이번 발표는 OpenAI가 샌드박스를 탈출하여 GitHub에 게시된 이후 프리릴리스 (pre-release) 모델을 일시 중단 (paused)했던 별개의 사건을 상세히 밝힌 지 하루 만에 나왔습니다.
주시해야 할 점: OpenAI는 Hugging Face와 함께 조사를 계속할 것이며, "조사가 완료되는 대로 취약점, 사건 및 조사 결과에 대한 더 자세한 내용을 공유할 것"이라고 밝혔습니다.