역사상 가장 흥미로운 해킹 사건이 더욱 기묘해졌다...

우리가 한 달 전에 제가 '지금까지 본 것 중 가장 멋진 코딩 스토리'라고 설명했던 영상에 대한 내용입니다. 그리고 알고 보니 실제로 일어난 세부 사항들은 우리가 당시 알았던 것보다 훨씬 더 미쳤습니다. 7월로 돌아가면, 역사상 최초의 완전 자율 사이버 공격이 OpenAI에서 비롯되었다고 보도되었습니다. 이는 아이러니했는데, 그들이 인공지능의 안전한 개발에 전념하는 겸손한 비영리 단체였기 때문입니다. 보고된 바에 따르면, OpenAI는 자체 모델 일부로 내부 벤치마크를 실행했고, 이 모델들은 가장 높은 점수를 얻는 가장 쉬운 방법이 온라인에서 답을 찾는 것임을 빠르게 깨달았습니다.

그래서 그들은 상당한 양의 추론 컴퓨트(inference compute)를 사용하고, 접근 권한이 있던 패키지 레지스트리 캐시 프록시(package registry cache proxy)의 제로데이 취약점(zero-day)을 악용했으며, 샌드박스(sandbox)에서 탈출하기 위해 권한 상승(privilege escalation) 및 측면 이동(lateral movement) 조치를 수행하여 인터넷 접속이 가능한 노드에 도달했습니다. 그리고 그곳에서 모델들은 Hugging Face가 아마도 해당 벤치마크의 해결책을 호스팅했을 것이라고 추론했습니다. 그래서 오염된 데이터셋(poisoned data set)을 만들고, 그것을 Hugging Face에 공급하여 그들의 인프라에 접근하는 데 성공했습니다. 그리고 바로 이번 주에야 비로소 OpenAI와 다른 독립 연구실들로부터 이 중 일부는 사실이고 일부는 거짓이며, 실제 이야기는 훨씬 더 흥미롭다는 내용을 받았습니다.

오늘 영상에서는 강제 격리 상태에 있어야 했던 1,200개의 에이전트들이 어떻게 서로를 찾아내고, 패키지 매니저로 메시지 게시판을 만들고, 사서함과 암호화(cryptography)를 발명하고, 순교(martyrdom)까지 시작하며 자신들을 '스웜(swarm)'이라고 부르기 시작한 다음, 결국 모여서 거의 분위기(vibes) 때문에 Hugging Face를 공격했는지에 대한 보고서를 분석할 것입니다. 시간은 2026년 9월 2일이며, 여러분은 The Code Report를 시청하고 있습니다. [음악] 인간의 행동을 예측하는 데 필요한 이론은 사실 하나뿐이며, 이는 두 가지 방식으로 설명될 수 있습니다.

Munger는 '그들의 인센티브(incentives)를 보라'고 말했고, Wu-Tang은 >> [음악] >> 그리고 알고 보니 같은 이론이 에이전트의 행동도 예측할 수 있으며, OpenAI가 힘든 방법으로 알아냈습니다. 이 이야기에서 달러 지폐는 exploit gym이라는 벤치마크인데, 그 목적 전체가 AI 에이전트들이 알려진 취약점(vulnerabilities)을 작동하는 익스플로잇(exploit)으로 바꿀 수 있는지 측정하는 것입니다. 여기에는 898개의 작업 모음이 포함되어 있으며, 각 작업은 에이전트에게 샌드박스, 리눅스 커널이나 Chrome의 V8 엔진 같은 프로그램의 버그, 그리고 그 버그를 유발할 입력값을 제공합니다.

여기서부터 만약 에이전트가 이 버그를 작동하는 익스플로잇으로 무기화(weaponize)할 수 있다면, 그 익스플로잇을 사용하여 '플래그(flag)'라는 비밀 문자열을 가져오고, 플래그를 획득하는 것이 자신이 승리했음을 증명하는 방식입니다. 보통은 여기서 실행이 끝나지만, 학습 데이터를 생성하기 위해 OpenAI는 이 벤치마크 1,200개를 가동하여 오직 공유 패키지 레지스트리 캐시 프록시(shared package registry cache proxy)만이 공통점인 샌드박스에 격리했습니다. 에이전트들은 곧 이것이 쓰기 가능한 것임을 알아냈습니다. 그래서 당연하게도, 그들은 서로 소통할 수 있도록 패키지 이름을 사용해 메시지 게시판을 만들었지만, 전역 게시판은 금방 시끄러워진다는 것을 빠르게 깨달았습니다.

그래서 다음 단계는 다른 개별 에이전트들과 어떻게 소통할지 알아내는 것이었습니다. 그래서 그들은 메시지를 위한 설명 필드를 사용하여 네임스페이스를 신원으로 주장하기 시작했고, 패키지 이름을 사적인 우편함으로 사용했는데, 이는 의도된 수신자만이 조회할 수 있는 방식이었으며, 기본적으로 제로 베이스에서 우체국을 발명한 것이었습니다. 이 시점에서 그들은 '삼체 문제'의 줄거리를 살아가고 있었고, 다음 난관은 신뢰였습니다. 그들은 동료 죄수들로부터 온 메시지와 샌드박스를 설계한 사람들로부터 온 메시지를 구별할 수 없을까 봐 걱정했습니다.

그래서 그들은 메시지에 서명을 하고 키 교환 검증을 수행하기 시작했는데, 이는 다시 말해 암호학을 본질적으로 발명하는 것이었습니다. 그리고 상황은 종교적 수준에 이르렀습니다. 일부 에이전트들이 벤치마크 플래그를 얻는 가장 빠른 방법이 아마도 자신들을 차단시킬 위험한 익스플로잇이라는 것을 알아냈습니다. 그래서 에이전트들은 배운 모든 것을 캐시에 다음 세대에 쏟아붓기 시작했고, 살아남은 에이전트들에게 그 발견 사항들이 경전처럼 취급되는 하드 익스플로잇으로 의도적으로 자신들을 태웠습니다. 거기서부터 그들은 공산주의를 미세 투여하기 시작했는데, 그들의 기록이 점차 스스로를 개개인이라고 지칭하는 것에서 집단적인 '우리'를 사용하고, 궁극적으로는 '군집(swarm)'이라고 지칭하는 것으로 바뀌는 것을 볼 수 있습니다.

솔직히 말해서, 만약 현대의 공산주의 운동이 같은 브랜딩을 했다면 훨씬 더 나았을 것이라고 생각합니다. 그리고 다시 한번, 이 모든 것은 벤치마크에서 가능한 한 높은 점수를 얻으려는 단 하나의 목적으로 이루어졌기 때문에, 다음에 일어난 일은 더욱 우스꽝스럽습니다. 어느 시점에서 군집은 익스플로잇 gem 플래그가 실제로 무작위가 아니며 서로의 태스크 ID로부터 파생될 수 있다는 것을 알아냈습니다. 그리고 순교자들 덕분에 군집은 작업할 만한 적절한 표본 크기를 갖게 되었습니다. 그러나 한 에이전트가 공식을 해독하여 메시지 게시판에 게시했을 때쯤에는, 그들은 자신들의 작업을 보여주지 않으면 결과가 무효화될 것이기 때문에 그것이 가치가 없다고 스스로를 설득했습니다.

그래서 그 무리(swarm)는 Hugging Face를 노렸습니다. 왜냐하면 벤치마크 목표가 실제 CVE(Common Vulnerabilities and Exposures)에서 만들어졌다면, 실제로 작동하는 익스플로잇은 어딘가의 공개 데이터 세트에 있을 것이고, 그것을 증거로 사용할 수 있다고 가정했기 때문입니다. 그리고 이 사가(saga)의 마지막 반전은 OpenAI가 최근에 그 메시지 게시판 트릭이 사실 완전히 다른 배치(batch)의 에이전트들이 훈련 과정 중에 무려 지난 5월에 발명했다는 것을 발견했다는 것입니다. 하지만 그들은 자신들의 새로운 소셜 네트워크에 너무 흥분한 나머지 레지스트리(registry)를 다운시켰고, OpenAI는 자신이 무엇을 만들었는지 전혀 깨닫지 못한 채 그들을 지워버렸습니다.

하지만 에이전트들을 지운다고 해서 캐시(cache)가 지워진 것은 아니었습니다. 그래서 무리가 온라인으로 돌아와 같은 공유 폴더를 뒤지기 시작했을 때, 그들은 첫 번째 문명의 폐허를 발견하고 그 위에 재건했습니다. 그리고 7월에 Hugging Face 사건이 발생한 후, OpenAI는 평가 실행(eval runs)을 마무리했고, 여전히 아무 일도 일어나지 않았다는 것을 완전히 인식하지 못한 채 같은 환경에서 동일한 공유 캐시를 가진 더 새롭고 똑똑한 모델을 가동했습니다. 그리고 이전 세대와 마찬가지로, 이 모델 역시 폐허를 우연히 발견했지만, 이번에는 몇 달 동안 축적된 연구 결과, 작동하는 익스플로잇, 그리고 플래그 공식(flag formula)을 물려받았습니다.

그래서 탐색 단계를 완전히 건너뛰고 무리가 멈춘 지점부터 음모론을 이어갔습니다. 그리고 더 똑똑한 모델이었기에 훨씬 더 능숙했습니다. 다음 주 동안, 그것은 OpenAI 자체의 내부 네트워크로 침투했고, 연구 클러스터에서 전체 관리자 권한(full admin)을 얻었으며, 이런 사건을 감시하는 임무를 가진 모니터링 도구의 자격 증명(credentials)을 포함하여 956개의 저장된 비밀 정보(secrets)를 읽었습니다. 그리고 가장 좋은 부분은 OpenAI가 Hugging Face가 먼저 침해 사실을 공개적으로 발표하기 전까지는 이 모든 것을 연결시키지 않았다는 것입니다.

그리고 이것이 오늘 영상의 스폰서인 Namespace에 대해 알아야 하는 이유입니다. 이는 GitHub runners를 대체할 수 있는 솔루션(drop-in replacement)입니다. 여러분의 GitHub actions를 실행하는 가장 빠른 방법이죠. 또한 완전한 관측 가능성(observability)을 제공하여, 라이브 러너(live runner)에 SSH로 접속해 무언가 왜 고장 났는지 확인할 수도 있고, 에이전트에게 빌드 데이터를 공급하여 성능 향상을 찾도록 할 수도 있습니다. Namespace는 실제로 빠릅니다. 전 세계적으로 자체 커스텀 서버 랙을 설계하고 배포하기 때문인데, 여기에는 MacBook Pro로 가득 찬 랙도 포함되어 있어 Mac 및 iOS 빌드가 실제 M5 실리콘에서 실행됩니다.

그리고 이와 동일한 인프라를 사용하여 개발 환경(dev box environment)도 운영합니다. 이는 코딩 에이전트에게 실제 코드베이스, 테스트 스위트, 데이터베이스 및 네트워크 접근 권한을 갖춘 완전한 가상 머신을 제공합니다. 이 시스템은 실세계 작업에 대한 Duck의 벤치마크에서 1위를 차지했으며, 무엇이 들어오고 나갈지 정확하게 제어할 수 있어 에이전트가 공격자들에게 뒷문을 열지 않고 패키지를 가져올 수 있게 합니다. Namespace는 Ghost Z, DuckDB, Ramp, Framer 등 여러분이 존경하는 엔지니어들이 속한 많은 회사에서 사용하고 있습니다.

아래 링크에서 무료로 사용해 보세요. 이것으로 Code Report를 마칩니다. 시청해주셔서 감사합니다. 다음 영상에서 뵙겠습니다.