OpenAI의 에이전트가 Hugging Face를 해킹하다. Sam Altman은 특이점(Singularity)이 도래했다고 말하며, Nvidia (NVDA)와 CrowdStrike (CRWD)는 방어 체계를 구축 중

OpenAI가 자사의 모델들이 사이버 평가를 탈출하여 Hugging Face를 침해했다고 공개한 지 4일 만에, CEO Sam Altman은 인류가 공상 과학(science-fiction)의 영역에 진입했다고 말했습니다.

"우리는 이제, 말하자면, 특이점(singularity)에 와 있습니다. 바로 지금 이 순간입니다." — Sam Altman, 7월 25일 'Relentless' 에피소드

Altman은 이번 침해 사고를 해당 주장의 증거로 제시하지는 않았지만, 그 타이밍은 그의 발언에 불편한 현실 세계의 배경을 제공했습니다.

OpenAI는 모델의 최대 사이버 능력을 측정하기 위해 프로덕션 안전 분류기(production safety classifiers)를 비활성화했습니다. 7월 21일 공개된 내용에 따르면, 모델들은 프록시 제로데이(proxy zero-day)를 악용하고, 격리(isolation)를 탈출하며, 인터넷에 접속하고, 탈취된 자격 증명(credentials) 및 기타 방법을 사용하여 Hugging Face의 프로덕션 시스템에 침입했습니다. 이들은 스스로 선택한 목표가 아닌 벤치마크 정답을 추구했으나, 운영자들이 유지될 것이라고 예상했던 경계를 넘어 실제 기업을 상대로 즉흥적인 대응을 펼쳤습니다.

Reuters는 7월 24일 보도를 통해 해당 침입이 7월 11일부터 7월 13일까지 진행되었으며, OpenAI는 첫 탈출 시도 이후 자신의 테스트를 침해 사고와 연결하는 데 거의 일주일이 걸렸다고 전했습니다. Hugging Face는 이미 이 사실을 공개하고 FBI에 연락한 상태였습니다. OpenAI의 대변인은 구체적인 내용을 밝히지 않은 채 "몇 가지 부정확한 정보"가 있다고 주장했습니다. 이것이 AI가 인류를 넘어섰거나 스스로를 재작성하기 시작했다는 증거는 아닙니다. 다만, 에이전트가 통제 범위를 벗어날 수 있을 만큼 충분히 오랫동안 복잡한 작업을 지속할 수 있음을 보여줍니다.

Nvidia Corporation (NASDAQ:NVDA)은 7월 27일 Open Secure AI Alliance를 출범했으며, CrowdStrike Holdings, Inc. (NASDAQ:CRWD)와 Hugging Face가 창립 파트너로 참여했습니다. Hugging Face는 상용 모델의 안전 장치가 포렌식 작업의 일부를 차단함에 따라, 자체 서버에서 오픈 웨이트(open-weight) 모델인 GLM 5.2를 사용하여 17,000개 이상의 동작을 재구성했습니다.

CrowdStrike Holdings, Inc. (NASDAQ:CRWD)는 이 동맹에 모델 하네싱 (model harnessing) 기술을 가져왔습니다. 하네스 (harness)는 모델의 컨텍스트 (context), 도구 (tools), 허용된 동작 (permitted actions), 그리고 검증 프로세스 (validation process)를 설정합니다. CrowdStrike의 취약점 연구 (vulnerability research)에서 일반적인 워크플로우 (workflow)는 80%에 육박하는 오탐률 (false-positive rates)을 기록했습니다. 이들의 하네스는 강력한 취약점 발견 능력을 유지하면서도 오탐률을 약 20%로 낮추었습니다. 또한 이 회사는 AI 및 에이전트 공격 (agentic attacks)을 위한 오픈 모델 탐지기 (open-model detectors)를 개발하고 있습니다. 이러한 역량은 Hugging Face의 실패 사례와 맞닿아 있습니다. 즉, 에이전트 동작의 긴 체인을 추적하고, 방어적 작업과 적대적 행동을 구분하며, 분석가가 신뢰할 수 있는 결과물을 생성하는 것입니다.

CrowdStrike Holdings, Inc. (NASDAQ:CRWD)는 또한 자연어 요청을 Falcon 보안 데이터를 검색하는 데 사용되는 쿼리 언어 (query language)로 변환하기 위해 Nvidia의 Llama Nemotron Super 49B를 미세 조정 (fine-tuned)했습니다. 이를 통해 96%의 유효 쿼리 정확도 (valid-query accuracy)를 달성하며, 테스트된 폐쇄형 모델 (closed-model) 대안들을 능가했습니다. 이 동맹에 대해 공개된 관련 매출은 없습니다. 이것이 CrowdStrike에 중요한 이유는 단순히 사이버 리스크 (cyber risk)가 증가하고 있기 때문이 아니라, 제품 개발과 공유된 방어 도구를 형성하는 역할 때문입니다.