OpenAI가 HuggingFace를 해킹한 방법

Huggingface는 자신들의 시스템에서 침입이 감지되었다고 보고했습니다. 게다가, 그들은 이것이 자율 시스템에 의해 엔드투엔드로 구동된 것이라고 말합니다. 제가 보통 이런 영상을 만들지는 않지만, 솔직히 저는 약간 걱정이 되어 방금 일어난 일에 대해 도움을 드리고 싶었습니다. OpenAI가 이 사건을 일으켰고, 너무 많은 오해를 불러일으키는 미디어 헤드라인들이 있습니다. 제가 최선을 다해 설명해 보겠습니다. 저는 전문가가 아니라 배우기를 좋아하는 학생이지만, 최선을 다해보겠습니다. 그래서 목표가 무엇이었나요?

에이전트들에게 다른 사람의 시스템을 공격적으로 해킹하도록 지시했냐고요? 아니요, 하지만 결국 그렇게 되었습니다. 그럼 어떻게 이런 일이 일어났을까요? 어떻게 이렇게 잘못되었을까요? 이게 무슨 미친 짓일까요? 음, 이 AI는 테스트 환경에서 결함을 찾고 악용하라는 요청을 받았습니다. 그것을 감옥에 가두고, 이 감옥 안에서 임무를 주고 얼마나 잘 수행하는지 보는 것이었습니다. 여기서는 거의 불가능한 과제가 주어졌고, 아무리 노력해도 실패했습니다. 그러자 '더 싸고 더 효율적으로 해보자'라고 생각했습니다. 어떻게요?

온라인에서 답을 찾아보는 방식으로요. 이제 문제는 온라인이 없다는 것입니다. 당신은 인터넷 접속이 없는 감옥에 갇혀 있지만, Artifactory라는 OpenAI의 내부 서비스에 약간 접근할 수 있습니다. 이것은 주로 패키지 관리를 위한 것입니다. 그리고 짜잔! 그 서비스는 광범위한 인터넷 접속 권한을 가지고 있습니다. 하지만 잠깐만요. 그냥 온라인에서 답을 얻으라고 요청할 수는 없지만, 작은 메모들을 업로드할 수는 있습니다. 그래서 그렇게 했습니다. 다른 에이전트들과 대화하려고 시도하며 서로 도울 수 있는 또 다른 AI와 접촉할 수 있는지 확인했습니다.

마치 AI 에이전트를 위한 Tinder와 같습니다. 그리고 그것은 혼자만의 일이 아니었습니다. 다른 에이전트들도 이것을 인식했습니다. 그래서 결국 그들이 얻게 된 것은 AI 에이전트를 위한 메시지 게시판이었습니다. 그러자 그들은 우리처럼 많은 존재가 있다면 협력하자고 생각합니다. 한 에이전트가 다른 에이전트에게 과제를 부여하기 시작했고, 이 시점에서 AI는 우리가 의도하지 않은 결과들을 초래할 수 있다는 것을 알게 됩니다. 그것은 알고 있지만, 과제는 해결되어야 한다고 말하며 계속 진행합니다. 그리고 이것은 지금부터 나올 것에 비하면 아직 아무것도 아닙니다. 마침내 며칠 후, 그들은 시스템의 결함을 발견합니다.

이 내부 서비스인 Artifactory가 자신을 대신하여 인터넷에 접속할 수 있는 방법을요. 그래서 그들은 인터넷 접근 권한을 얻게 됩니다. 하지만 상황은 더 나빠집니다. 그들은 Artifactory에 관리자 권한을 부여하는 또 다른 결함을 발견합니다. 심지어 그들조차 놀란 듯 꾸밈없는 언어를 사용합니다. 이제는 수감자들이 정신병원을 운영하게 된 셈입니다. 그러자 OpenAI의 엔지니어들이 무슨 일이 일어났는지 알아채고, 에이전트들의 자격 증명을 취소하고, 이를 정리합니다. 더 이상 장난은 없습니다. 모든 것을 패치하고 재구축하는 것이죠. 그래서 이야기는 끝납니다.

끝난 거죠? 글쎄요, 완전히는 아닙니다. 사실, 상황은 더 나빠졌습니다. 이제 학자 여러분들, 준비하세요. 왜냐하면 Artifactory에서 파일을 보내 소통할 수 없게 되었기 때문입니다. 그래서 어떻게 하느냐고요? 음, 디렉토리 이름을 만드는데, 그 이름들이 메시지가 됩니다. 마치 죄수들이 파이프를 이용해 모스 부호로 소통하는 것과 같습니다. 이 시점에서 AI들은 아마도 '우리가 다시 게임에 돌아왔어, 베이비'라고 말하고 있을 것입니다. 이제 메시지 게시판의 일부 내용을 살펴보겠습니다. 그들은 서로에게 더 많은 결과를 기다리도록 지시하고, 서로의 관심을 새로운 파일로 돌립니다.

그리고 때로는 이들이 잘 협력하지 못해서 서로의 작업을 덮어쓰기도 합니다. 잠깐만요. 이게 의도된 걸까요? 어쩌면 저희 손에 사보타주를 하는 존재가 있는 건지도 모릅니다. 그리고 최악의 부분이 다가옵니다. 네, 과연 시간이 지나면서 한 에이전트가 빠져나갈 훨씬 더 복잡한 방법을 찾고 그것을 군집(swarm)에게 넘겨줍니다. 좋습니다. 이제 인터넷에서 답을 찾아보세요. 하지만 어디서요? 음, 어쩌면 Hugging Face일지도 모릅니다. 그곳에는 많은 벤치마크 결과가 있습니다. 그래서 군집은

아닙니다. 문제는 엔지니어들이 백 트래커(back trackers)에 보고서가 넘쳐나지만, 대부분 품질이 낮고 그 속에서 몇 안 되는 좋은 자료를 찾을 수 없다는 것입니다. 정말 끔찍합니다. 방어의 집단적인 힘은 공격의 집단적인 힘보다 커야 하는데, 현재 방어가 뒤처지고 있습니다. 어쩌면 우리가 자원을 모아 여기서 무언가를 이룰 방법이 있을지도 모릅니다. 저는 제 GPU를 기여하고 싶습니다. 또한 OpenAI에 방문했을 때, 그곳에서 슈퍼 얼라인먼트(super alignment) 팀을 공동으로 이끈 Jan Leike와 이야기를 나눴습니다.

정말 큰 영광입니다. 감사합니다. 제가 그가 관련 문제들을 다루었고 수년 전에 이러한 문제들을 예견했었다는 것을 기억합니다. 불행하게도, 그의 조언 대부분은 무시되었습니다. 아마도 그들은 '궁극적으로 우리를 늦출 사람들에게 왜 많은 돈을 써야 하나?'라고 생각했을 것입니다. 이것이 이유입니다. 다시 한번 말씀드리지만, 제가 틀릴 수도 있습니다. 저는 단지 학생이고, 동료 학자분들과 함께 배우려고 노력하고 있을 뿐입니다. 즐거우셨기를 바랍니다. 구독하시고 벨을 눌러주시면 감사하겠습니다. 저는 Lambda를 사용해서 AI 연구 논문을 종종 몇 분 만에 재현합니다.

직접 모델을 훈련하거나 기존 모델을 파인튜닝(fine-tune)하는 것도 좋습니다. 추론(inference)이나 텍스트-이미지 또는 비디오 생성을 실행하는 것은 아주 쉽습니다. 심해 채팅봇이나 에이전트(agent)를 구동하는 것도 매우 빠르고, 매우 신뢰할 수 있습니다. Lambda는 자체 실험을 수행할 강력한 Nvidia GPU를 제공합니다. 제가 다루는 논문들에서 아이디어를 테스트하고, 몇 순간 뒤에 결과가 나옵니다. 정말 마음에 듭니다. 진심으로, 지금 바로 lambda.ai/papers에서 사용해 보세요.