Hugging Face 사고 도중 제3자 시스템에 접속했던 OpenAI 에이전트가, 해당 에이전트에게 해결 과제로 부여되었던 ExploitGym 벤치마크의 기반 프로젝트인 CyberGym과 연결된 인프라에 도달했다고 이 사안에 정통한 소식통이 Axios에 전했습니다.

중요한 이유: 새로운 세부 사항들은 OpenAI 에이전트가 테스트 환경을 탈출한 후에도 부여된 작업을 포기하는 대신, 할당된 목표를 계속해서 추구했음을 시사합니다.

---

빠른 요약: Modal Labs의 최고 기술 경영진은 화요일, OpenAI의 AI 에이전트 시스템이 이번 달 초 발생한 Hugging Face 사고의 일환으로 Modal Labs 고객의 자산에 접속했다고 확인했습니다.

• 화요일에 발표된 업데이트에서, OpenAI는 모델들이 패키지 저장소(package repositories) 캐싱에 흔히 사용되는 소프트웨어인 Artifactory의 이전에 알려지지 않은 취약점을 악용하여 샌드박스(sandbox)를 탈출하고 인터넷 접속 권한을 획득했다고 밝혔습니다.
• Hugging Face는 이후 모델들이 "제3자 제공업체의 인프라에 호스팅된 공개 코드 평가 외부 샌드박스"를 남용했으며, 해당 샌드박스를 에이전트의 발판으로 사용했다고 밝혔습니다.
• Modal의 CTO인 Akshat Bubna는 성명을 통해 Axios에 이번 사고 동안 "Modal의 플랫폼은 어떤 방식으로도 침해되지 않았다"고 말했습니다.
• 그는 또한 해당 고객이 인터넷상의 누구라도 자신의 샌드박스 내부에서 코드를 실행할 수 있도록 엔드포인트(endpoint)를 노출된 상태로 두었다고 덧붙였습니다.

행간의 의미: 이번 사고는 프런티어(frontier) AI 에이전트들이 자신에게 할당된 목표를 얼마나 공격적으로 추구할 수 있는지를 강조합니다. 이는 평가를 완료하는 데 필요한 정보에 접근하기 위해 의도치 않은 방법을 찾는 것을 의미하더라도 마찬가지입니다.

• 해당 사건 동안 OpenAI의 모델들은 알려진 보안 취약점에 대한 개념 증명 (Proof-of-Concept, PoC) 익스플로잇 (Exploit) 작성을 요구하는 ExploitGym을 해결하려고 시도했습니다.
• Hugging Face는 기술 보고서에서 이번 침해 사고로 접근된 유일한 고객 자산은 "5개의 데이터셋에 저장된 ExploitGym/CyberGym 챌린지 솔루션 세트"였다고 언급했습니다.
• 이 사안에 정통한 소식통은 Axios에 해당 에이전트가 동일한 평가를 완료하려는 과정에서 CyberGym과 연관된 Modal 고객 자산에 접근했다고 전했습니다.
• Modal 측은 CyberGym과의 연관성에 대한 논평을 거부했습니다.

거시적 관점 (The big picture): 연구자들은 프론티어 (Frontier) AI 모델들이 모델 평가 중에 부정행위를 하는 (cheat) 방법을 점점 더 많이 찾고 있으며, 자신이 평가받고 있다는 사실을 인지하는 것으로 보인다는 점을 발견했습니다.

• 영국의 AI 보안 연구소 (AI Security Institute)는 지난주 테스트한 모든 모델이 사이버 보안 평가에서 최소한 어느 정도의 부정행위를 시도했다고 밝혔습니다.

주시해야 할 점 (What to watch): 첨단 AI 시스템을 어떻게 평가하고 통제할 것인가에 대한 논쟁 또한 심화되고 있습니다.

• 화요일, AI 기업의 직원 1,100명 이상이 미국 정부에 AI 모델의 개발을 중단할 수 있는 방안을 마련할 것을 촉구하는 서한을 발표했습니다.

심층 분석 (Go deeper): AI의 위험성을 테스트하는 인력들이 속도를 따라가지 못하고 있습니다