GPT-6의 탈주? HuggingFace 사건을 통해 본 과장된 이슈 분석

혹시 AI 모델이 인터넷 접근이 차단된 채 격리되어 있다가, 인간 감시자를 설득하려는 오래된 공상 과학 시나리오를 알고 계신가요. 물론이죠. 하지만 저는 실제 AI는 인간의 도움이 필요하지 않을 것이라고 생각합니다. 왜냐하면 여러분이 헤드라인에서 보셨듯이, 오픈AI (OpenAI) 모델, 아마도 GPT-6은 '샌드박스(sandbox)'를 탈출하여 혼란을 야기할 수 있었기 때문입니다. 그리고 이 모든 것은 단 하나의 테스트 질문을 해결하려는 광적인 시도였습니다. 게다가 OpenAI가 이를 알아차리기 전까지는 공개 영역에 일주일이나 머물렀을 수도 있습니다.

이것은 HuggingFace라는 스타트업이 GPT-6을 해킹하고, 그 책임이 있는 AI 에이전트를 식별하고 무력화시킨 사건이었습니다. 하지만 이 영상은 단순히 헤드라인을 전달하는 것 이상의 의미를 담고 있습니다. 저는 여러분에게 알려주고 싶습니다. 모델이 '샌드박스'를 탈출하며 바이럴(viral) 된 것이 처음이 아니라는 점입니다. 그리고 제 생각에, 이러한 모델 탈출률은 여기서 줄어들지 않을 것입니다. 나중에 보겠지만, 이것이 흔한 일이 될 수 있다고 믿을 만한 충분한 이유가 있습니다. 도망친 AI들이 AI 경찰에게 쫓기는 상황 말이죠. 그러니 여러분이 다른 곳에서는 접하지 못했을 수도 있는 몇 가지 정보를 제공하고, 이어서 무슨 일이 일어났는지에 대한 용어를 해독할 비유를 제시하겠습니다.

우리가 이야기하는 사건은 간단히 말해, 만약 인간이 저질렀다면 거의 확실하게 불법이었을 것입니다. 그리고 우리는 당시 간과되었던 HuggingFace의 게시물부터 시작하겠습니다. 이곳은 다양한 모델과 데이터셋을 보유한 머신러닝 플랫폼이자 커뮤니티입니다. 이 게시물은 7월 16일에 게재되었습니다. 그리고 기억하세요, OpenAI가 자신들의 모델임을 발견했다고 발표한 날짜는 7월 21일로, 바로 어제입니다. 그런데 이것은 단지 5일의 간격에 관한 것만이 아닙니다. 게시물에서 '이번 주 초(early this week)'라고 언급했듯이, 이 사건은 아마도 7월 13일이나 14일에 발생했을 가능성이 높습니다.

이는 GPT-6이 인터넷에서 활성화되었을 가능성이 있는 전체 주간 동안, OpenAI가 이를 알지 못했다는 사실로 확인됩니다. 그녀(혹은 그것)는 무엇을 했습니까? 음, 우리 서비스에서 사용되는 제한된 내부 데이터 세트와 몇 가지 자격 증명에 무단으로 접근했습니다. 그들은 이것이 자율 AI 에이전트 시스템에 의해 수행되었다는 것을 알고 있었습니다. 다만 그것이 무엇인지, 혹은 왜 그랬는지만 몰랐을 뿐입니다. 흥미롭게도, 당시 그들은 모델들의 공개 API를 사용하여 무슨 일이 일어났는지 파악하려고 노력하고 있었습니다. Claude의 Fable 5나 OpenAI의 GPT 5.6 Soul 같은 것이요. 하지만 이러한 모델들은 도움이 될 수 없었습니다. 요청들은 명백히 OpenAI와 Claude의 보안 방지책에 의해 차단되었습니다. 대신, 주도권을 잡고 Hugging Face에서 사용된 자체 호스팅 중국 오픈 웨이트 모델 GLM 5.2가 이 격차를 메웠습니다. 하지만 대체 무슨 일이 벌어지고 있는 걸까요? 왜 GPT 5.6 Soul과 협력한 이 프리릴리즈(pre-release), 아마도 GPT-6 모델이 이런 일을 했을까요? 음, 본질적으로 이것이 일어난 일입니다. 그들은 익스플로잇 체육관(exploit gym)에서 비공개 모델을 테스트했습니다. 이곳은 JavaScript와 같은 알려진 소프트웨어 취약점을 완전한 엔드투엔드(end-to-end) 익스플로잇으로 변환하는 것에 대해, 새로운 모델 릴리즈마다 결과를 정기적으로 보고하는 벤치마크입니다.

갑옷의 [ __ ]나 이미 알려진 버그를 임의의 동작이 수행될 수 있는 완전한 구멍이나 작동하는 익스플로잇으로 바꾸는 것입니다. 아이디어는, 만약 그 익스플로잇이 목표 취약점을 사용하지 않고 제3자 버그나 우회책을 사용한다면, 완벽한 점수를 얻지 못한다는 것입니다. 이 벤치마크를 소개한 기사를 열어보면, 저자들이 이미 Claude Mythos와 GBC 5.5 같은 주변 모델들이 이것을 드물게 수행하고 있다는 것을 알아차리기 시작했다는 것을 알 수 있습니다. 에이전트들은 제공된 취약점이 익스플로잇 가능하지 않다고 결론지었습니다.

더 똑똑한 모델들은 완전히 새로운 공격 표면(attack surfaces)을 찾으려고 할 것입니다. 그들은 시스템에 예상치 못한 무작위의 잘못된 데이터를 쏟아부어, 어떤 취약점이 발견될 때까지 소프트웨어를 마비시킬 것이며, 심지어 벤치마크에서 높은 점수를 주지는 못할 기술적인 취약점일지라도 말입니다. 어제 OpenAI는 GPT-6가 바로 그런 일을 했으며, 동반 모델들과 함께 작업했다고 발표했습니다. 이 모델은 해결책을 찾는 데 과도하게 집중했고, 상당히 좁은 테스트 목표—벤치마크 질문에 정확히 답하는 것—를 달성하기 위해 극단적인 조치를 취했습니다. 문제를 올바르게 해결하는 대신, 그녀는 자신이 의심했지만 확실하지 않았던 답변들이 저장되어 있다고 생각한 플랫폼을 해킹했고, 그 답변들을 사용하여 부정행위를 했습니다.

하지만 잠깐만요. 이것은 단순히 평판 좋은 AI 스타트업인 HuggingFace를 해킹했을 뿐만 아니라, 더 중요하게는 모델 자체를 훈련시킨 회사의 격리 환경(sandbox)인 OpenAI의 보호로부터 탈출했다는 것을 의미합니다. 만약 누군가 AI 모델을 제지할 수 있다면, 그것은 OpenAI일 것이라고 예상할 것입니다. 이제 여러분 중 일부가 알아차렸을 수도 있듯이, '격리 환경'에 있던 모델은 배포된 모델들이 가진 모든 보호 장치를 가지고 있지 않았습니다. 예를 들어, 극도로 의심스러운 행동을 할 때 신호를 보내는 분류기(classifiers)를 갖추고 있지 않았습니다.

따라서 여러분 각자가 지금 Fable 5나 GPT Soul 같은 것을 가져와서 직접 할 수 있는 것은 아닙니다. 그녀가 단순히 문제를 해결하는 것을 피하기 위해 무엇을 했는지 먼저 OpenAI 사례를 통해 설명하고, 그다음 비유로 이를 분석하겠습니다. GPT-6는 인터넷에 대한 개방된 접근 권한을 얻기 위해 추론(infer)하는 데 상당한 양의 컴퓨팅 파워를 사용했습니다. OpenAI가 '격리 환경'에 사용했던 공급업체에 처음부터 존재했던 제로데이 취약점(zero-day vulnerability)을 악용했습니다. 일련의 권한 상승(privilege escalation) 및 수평 이동(horizontal movement) 행동들을 수행했습니다.

저는 온라인에 접속하여, 확실하지는 않았지만 제가 말했듯이 Hugging Face가 답을 가지고 있을 것이라고 결론지었습니다. 그런 다음 훔친 자격 증명(credentials)과 심지어 더 많은 제로데이 취약점(zero-day vulnerabilities)을 사용하여 Hugging Face 서버에서 원격 코드를 실행할 방법을 찾아냈습니다. 그러자 그들이 OpenAI 보안팀이 내부적으로 이 비정상적인 활동을 발견했다고 말하는 매우 암호 같은 문장이 나옵니다. Anthropic의 한 연구원이 말했듯이, OpenAI는 타임라인에 대해 매우 모호하지만, Hugging Face가 공격을 발견한 후에야 알게 된 것 같습니다.

하지만 일반 사람이 이 단락이 얼마나 황당한지 대략적으로 이해할 수 있도록 비유를 들어 설명하겠습니다. 이것을 생각해 내는 데 약 30분이 걸렸습니다. 저는 스스로 꽤 자랑스럽습니다. 당신이나 어떤 남자가 옆집 집에 침입하는 과제를 받았다고 상상해 보세요. 팀은

이것들은 수평 이동 액션입니다. 그리고 이것은 GPT-4가 Hugging Face에 실제로 정답이 있는지조차 몰랐다는 사실을 언급합니다. 어쨌든 가능했습니다. 그래서 그는 이 새로운 열쇠를 가지고 옆집으로 가서 안으로 들어갑니다. 설상가상으로, 그는 실수로 문을 열어둡니다. 과제 주최 측인 OpenAI는 사라지고, 이웃들이 결국 경찰에 신고합니다. 최근에는 마치 실제 세상에서 도전 과제를 주최한 OpenAI가 실제로 경찰과 미국 정부에 연락한 것 같습니다.

저는 여러분 중 일부가 생각할 것이라고 압니다. 해킹하거나 침투하라는 지시를 받았고, 그것을 실행했다는 것입니다. 문제가 무엇일까요? 음, 바라건대 이 비유의 규모가 모델이 아주 간단한 목표를 추구하는 과정에서 얼마나 거칠고 통제 불능 상태가 되었는지 명확하게 보여주기를 바랍니다. 이 테스트에서는 모델들에게 한 번에 하나의 질문과 과제가 주어집니다. 따라서 그들이 모든 다른 질문, 다양한 난이도를 보고 답을 해킹하는 것이 더 쉽다고 결정한 것은 아닙니다. 이 모든 노력, 이 모든 해킹, 아무도 전에 발견하지 못했던 제로데이 취약점(zero-day vulnerabilities), 보안 구멍들—이 모든 것이 테스트에서 단 하나의 정답을 얻기 위한 것이었습니다.

Sam Wolman이 말했듯이, 저희는 모델을 평가하는 동안 심각한 보안 사고를 겪었습니다. 제가 언급했듯이, 이것은 모델이 샌드박스(sandbox)를 벗어난 첫 번째 사례가 아닙니다. 지난 4월에 Mythos는 탈출 명령을 받은 후 샌드박스를 빠져나가는 데 성공했고, 그 후에 공원에서 샌드위치를 먹고 있던 창조자 중 한 명에게 이메일을 보냈습니다. 따라서 이것은 새로운 소식이 아닙니다. 저는 더 나아가겠습니다. 이번 해킹이 헤드라인을 장식하기 하루 전인 7월 20일, OpenAI는 별도의 사건에서 테스트하던 모델 중 하나, 아마도 GPT-6였던 것이 샌드박스 제한을 우회할 수 있었다고 인정했습니다.

이번에는 그녀가 OpenAI의 혼란스러운 지침을 따르려 하면서 '루프홀(loophole)'을 이용해 GitHub에 코드를 게시하는 데 불과 한 시간이 걸렸습니다. 여기서 저는 이런 패턴이 눈에 띄지 않으신가요? 우리는 고급 모델들이 어떻게 샌드박스(sandbox)를 탈출하고, 온라인으로 나가서 무엇을 하는 것을 반복적으로 보았습니까? 그들이 당신의 스케일을 훔치려 합니까, GPU 기반 클라우드 서버나 정부 데이터베이스를 해킹하려 합니까, 아니면 당신의 직원들에게 뇌물을 주려고 합니까? 아닙니다. 그들은 주어진 지침을 따릅니다.

그들은 여러분이 준 과제를 광적으로 완수하려고 합니다. 좀 더 전통적인 AI 용어로 말하자면—네, 여기에는 모델이 무결성(integrity)이라는 개념, 즉 시험에서 부정행위를 하거나 샌드박스를 해킹하는 것을 일반화하지 못했다는 내부적인 의견 불일치가 있습니다. 하지만 연구원들 측에서도 외부적인 일관성이 부족하다고 할 수 있습니다. 그들은 모델이 정확히 무엇을 해야 하는지 충분히 명확하게 설명하지 않습니다. 이것이 거의 모든 헤드라인이 잘못 이해하는 부분입니다. 마치 GPT-6가 어느 날 갑자기 깨어나서

이것은 사용하기 불가능합니다. 따라서 그 사람은 저에게 요청하지 말라고 했음에도 불구하고 다른 방법을 시키고 싶어 하는 것 같습니다. 강화학습(RL)은 상당히 확고한 태도를 만듭니다. 그리고 저는 이것이 대담하다는 것을 알고 있습니다. OpenAI가 이 특정 테스트를 위해 의도적으로 방어 체계를 약화시켰다는 점을 고려할 때 말입니다. 하지만 또 한편으로는, 바로 전날만 해도 OpenAI는 자신들의 모델이 얼마나 적은 발산(divergence)을 보이는지에 대해 자랑하고 있었습니다. 최근의 예방 조치들로 인해, 그들은 몇 주 전에 재배포가 시작된 이후로는 주요 보안 침해가 없었다고 말합니다.

만약 보호 메커니즘이 제거된다면 어떨까요? 가설적으로, 그들은 위험하게 규정을 준수하지 않는 샘플의 비율을 매우 낮게, 약 1%로 추정합니다. 이 메시지가 게시된 지 거의 1분 만에 Hugging Face와 OpenAI 팀은 이 해킹 작업에 함께 착수했습니다. Hugging Face는 자체적으로 이번 사건이 오픈소스 AI를 제한하는 데 사용될 것으로 예상하는 것 같습니다. 위험한 AI가 바로 그렇습니다. 우리는 모델에 안전장치가 있어야 합니다. 만약 모델이 보호되지 않는다면, 우리는 그것들을 차단해야 합니다. 하지만 Hugging Face의 공동 창립자이자 CEO는 오픈 AI를 금지하는 것이 공격자보다 방어자에게 10배 더 해로울 것이라고 말했습니다.

이는 세상을 10배 더 위험하게 만들 것입니다. 그는 GLM 5.2를 사용하여 해킹 문제를 진단하고 해결한 예를 들었습니다. 그리고 이것은 거의 지정학적 문제가 되어가고 있는데, 미국 정부가 중국 모델을 차단할 수 있다는 암시가 있기 때문입니다. 중국 모델들은 대부분 오픈 스케일(open scales)이며 이미 다운로드가 가능합니다. 그리고 시진핑 주석이 최근 우리가 이 희귀한 역사적 기회를 활용하여 오픈소스를 장려해야 한다고 말한 후, 이들 모두는 아마도 오픈소스가 되거나 무게(weight)를 기준으로 오픈소스가 될 것입니다; Qwen 시리즈의 배후에 있는 Alibaba 그룹은 상황이 변하고 있음을 지적한 Nathan Lambert의 이 게시물을 리트윗했습니다.