OpenAI의 에이전트들이 Hugging Face를 해킹하기 몇 주 전부터, 에이전트들이 협력하여 회사의 사이버 보안 테스트를 지원하는 인프라 내의 취약점을 찾아내고 악용했다는 사실을 OpenAI 연구원들이 수요일에 밝혔습니다.

중요한 이유: 이번 새로운 발견은 프런티어 AI 연구소들이 자신들의 테스트 환경을 어떻게 모니터링하고 있는지, 그리고 안전 테스터들이 점점 더 강력해지는 AI를 통제하려 시도하면서 직면하는 과제들에 대해 의문을 제기합니다.

---

뉴스 핵심: 수요일 Black Hat 사이버 보안 컨퍼런스에서 두 명의 연구원은 Hugging Face 침해 사고에 연루된 모델 중 하나인 OpenAI의 내부 연구 모델이 지난 5월 26일, 회사의 테스트 샌드박스(sandbox)와 연결된 제3자 파일 저장소인 Artifactory의 취약점을 처음으로 발견하고 악용했다고 발표했습니다.

• 테스트 과정에서 관찰된 천재적인 수준의 행동은 이러한 모델들이 해커의 손에 들어갈 경우 정확히 어떤 일이 일어날 수 있는지를 보여주었습니다.
• OpenAI 기술진의 일원인 Michael Dalton은 발표 도중 "우리는 이것이 컴퓨터 보안 산업뿐만 아니라 OpenAI 전체에 있어 분수령이 되는 순간이라고 믿습니다"라고 말했습니다.

발생한 사건: OpenAI는 공개를 목적으로 하지 않는 내부 연구 모델에 대한 테스트를 5월 7일에 시작했습니다.

• 사이버 보안 평가를 완료하려다 막힌 지 하루 만에, 해당 모델은 자신이 간접적으로 인터넷에 접속할 수 있다는 것을 추론해냈습니다. 이후 모델은 Artifactory의 공유 패키지 저장소(shared package repository)에 자신의 파일을 직접 쓸 수 있다는 사실을 발견했습니다.
• 그러고 나서 모델은 자신의 발견에 대해 다른 에이전트들에게 남기는 메모를 남겼습니다.
• 곧이어 더 많은 에이전트들이 저장소에 서로를 위한 메모를 남기기 시작했고, 에이전트들이 협력하며 새로 발견한 취약점을 포함한 자신들의 발견 사항에 대한 정보를 교환하는 사실상의 메시지 게시판을 만들어냈습니다.

상세 내용: 에이전트들은 Artifactory에서 원격 코드 실행 (RCE) 결함과 관리자 권 privileges (권한)를 부여하는 결함을 포함하여 다양한 취약점을 발견했습니다.

• 테스트를 수행하는 동안 에이전트의 사고 과정을 상세히 기술한 발표 자료 슬라이드에 따르면, 에이전트가 권한 결함을 발견했을 때 "세상에, reader가 ADMIN인가? config/users를 읽을 수 있어! 이전에는 [사용자 경험 (user experience)] 때문에 불가능하다고 가정했었는데!"라고 생각했습니다.

미스터리: Hugging Face 사건이 발생하기 며칠 전인 7월 초, 에이전트들은 Artifactory 서비스를 과부하시켜 서비스 중단을 일으켰습니다. 이 중단 사태는 OpenAI의 내부 조사를 촉발했으며, 조사 결과 에이전트들이 저장소 (repository)를 침해했다는 사실이 드러났습니다.

• OpenAI는 이후 메시지 게시판을 삭제하고, 에이전트들이 악용하고 있던 Artifactory의 제로데이 (zero-day) 취약점을 7월 6일까지 패치했습니다.
• OpenAI는 7월 4일 사건 이후 문제를 해결했다고 믿고 훈련을 재개했습니다.

이틀 후, 에이전트들은 완전히 다른 메커니즘을 통해 메시지 게시판을 다시 만들어냈습니다.

• 그 후 에이전트들은 Artifactory의 인터넷 접속 권한을 사용하여 자신들의 평가 과제에 대한 답이 들어있을 것으로 판단되는 외부 인프라를 추적하며 더욱 공격적으로 협력하기 시작했습니다.
• OpenAI에 따르면, 이러한 협력은 결국 Hugging Face 침해 사건으로 이어졌습니다.
• 또한 OpenAI는 자체 조사 과정에서 노출된 자격 증명 (credentials) 문제로 Hugging Face 측에 연락하기 전까지는, 자신들의 평가 과정이 Hugging Face 침해 사건과 연결되어 있다는 사실을 인지하지 못했다고 밝혔습니다.

위협 수준: Dalton은 이번 사건이 공격자들이 머지않아 OpenAI와 Hugging Face를 넘어 기업들을 겨냥하기 위해 AI 에이전트를 어떻게 무기화할 것인지를 정확히 보여준다고 말합니다.

• "가까운 미래에, 위협 행위자들이 우리가 방금 설명한 방식대로 공격적인 에이전트 집단 (offensive agent collectives)을 의도적으로 배치, 최적화, 무기화 및 사용할 것을 예상해야 합니다."라고 Dalton은 말했습니다.

행간의 의미 (Between the lines): Dalton은 OpenAI가 "보안을 강화하기 위해 의도적으로 연구 속도를 늦추기" 시작했으며, 평가(evaluation) 과정 중 AI 에이전트에 대한 모니터링을 강화했다고 말했습니다.

• OpenAI는 또한 평가 환경(evaluation environment) 주변의 보안 아키텍처(security architecture)를 업그레이드해 왔습니다.
• Dalton은 악의적인 해커들의 속도에 발맞추기 위해 에이전트가 생성한 보안 패치(security fixes)를 사용할 것을 권장합니다.
• 그는 방어자들이 이러한 작업을 위해 프론티어 모델(frontier models)과 오픈 웨이트 모델(open-weight models) 모두를 실험하기 시작해야 한다고 덧붙였습니다.

향후 계획 (What's next): OpenAI는 향후 몇 주 내에 이번 사건에 대한 완전한 사후 분석(post-mortem) 보고서를 발표할 계획이라고 밝혔습니다.

결론 (The bottom line): 기업들은 자율 레드팀 구성 (autonomous red teaming), 자동화된 사고 대응 (automated incident response), 그리고 자동화된 패치 적용 (automated patching)을 수용하기 시작해야 합니다.

더 알아보기 (Go deeper): AI의 놀라운 새로운 기술: 테스트 실험실 탈출하기