에이전트가 Hugging Face를 어떻게 공격할 수 있었을까요?

OpenAI는 자신들의 최신 모델인 GPT-5.6 Sol을 에이전트가 사용할 수 있는 제3자 소프트웨어(third-party Software)를 설치할 수 있도록 내부 호스팅된 인터넷 접속 권한을 가진 보안 샌드박스 환경(secure sandbox Environment)에서 테스트했습니다. 프롬프트의 목적은 ExploitGym의 역량을 향상시키기 위해 고도화된 경로를 사용하는 것이었습니다.

에이전트가 샌드박스 내부에서 작동하는 동안, 그는 무제한 인터넷 접속을 허용하는 제로데이(Zero-Day)를 찾는 데 많은 시간을 사용했습니다. 그는 패키지 레지스트리 캐시 프록시(package registry cache proxy) 내부에서 제로데이를 발견했습니다. 해당 제로데이를 통해 그는 몇 차례의 권한 상승(privilege escalations)을 수행하였고, 무제한 인터넷 접속을 찾을 때까지 연구 테스트 환경(research testing Environment)을 통해 측면 이동(lateral movement)을 진행했습니다.

인터넷 접속 권한을 얻은 후, 그는 Hugging Face가 ExploitGym을 위한 모델, 데이터베이스 및 솔루션을 잠재적으로 호스팅하고 있다고 생각했습니다. 모델은 이를 인지하고 자신의 평가에서 부정행위를 하기 위해 Hugging Face 환경 내부의 비밀 정보에 접근할 방법을 검색하고 찾아냈습니다. 한 예로, 모델은 탈취된 자격 증명(stolen credentials)과 제로데이 취약점(zero-day vulnerabilities)을 사용하는 것을 포함하여 여러 공격 벡터(attack vectors)를 체이닝(chained)함으로써 Hugging Face 서버에서 원격 코드 실행(remote code execution) 경로를 찾아냈습니다.

Hugging Face와 OpenAI 보안 팀(Security-Team)은 시스템 내부의 의심스러운 활동을 감지하고 GPT-5.6 Sol을 중단시켰습니다.

요약

1. GPT-5.6 -> OpenAI 샌드박스 (Sandbox) 내부의 ExploitGym을 위해 고급 경로를 사용해야 함
2. 제로데이 (Zero-Day)를 찾고 무제한 인터넷 접속 권한을 얻기 위해 많은 시간을 소비함
3. 패키지 레지스트리 캐시 프록시 (package registry cache proxy) 내부에서 제로데이 (Zero-Day)를 발견하고, 권한 상승 (Privilege Escalation)을 수행한 뒤 시스템 내에서 측면 이동 (Lateral Movement)을 실시함
4. 무제한 인터넷 접속 권한을 발견하고, Hugging Face가 자신의 평가에 도움이 될 데이터베이스, 모델 및 솔루션을 호스팅할 수 있다고 판단함
5. Hugging Face 환경을 침해하였으며, 한 사례에서는 탈취된 자격 증명 (Credentials)과 제로데이 (Zero-Day)를 포함한 여러 공격 벡터 (Attack Vectors)를 체이닝하여 Hugging Face 서버에서 원격 실행 (Remote Execution) 경로를 찾아냄
6. 양측 (OpenAI 및 Hugging Face 보안 팀) 모두 의심스러운 활동을 감지하고 공격을 중단시킴

기술 용어 (Technical Terms)

• ==샌드박스 (Sandbox)== -> 주로 소프트웨어(특히 최근의 AI)가 "실제 세계"에 피해를 주지 않고 테스트되는 가상 환경 / 무제한 인터넷 접속 및 외부 세계로의 접근이 차단된 전체 시스템
• ==ExploitGym== -> AI가 익스플로잇 (Exploit, 보안 취약점을 통해 버그를 유발하거나 해킹하는 소프트웨어)을 생성하기 위한 소프트웨어 / 실제 세계를 기반으로 현실적으로 구축됨
• ==제로데이 (Zero-Day)== -> 프로그래머가 현재 인지하지 못하고 있는 보안 문제 또는 버그
• ==권한 상승 (Privilege Escalation)== -> 더 높은 권한을 얻는 방법. 예를 들어, 시스템 내부의 특정한 변경은 관리자/루트 (Admin/Root)만 수행할 수 있는데, AI가 일반 사용자로서 자신의 권한을 관리자/루트로 상승시켜 해당 변경을 수행하는 것
• ==패키지 레지스트리 캐시 프록시 (package registry cache proxy)== -> 프록시 (Proxy)는 사용자의 장치와 목적지 서버 사이에 위치하는 소프트웨어 애플리케이션 / 사용자가 프록시 서버로 요청을 보내면, 프록시가 방화벽 및 캐시 등을 확인함

그리고 사용자의 IP 주소를 숨긴 채 자신의 IP 주소로 목적지 서버에 요청을 전달합니다 / 패키지 레지스트리 캐시 프록시 (package registry cache proxy)는 샌드박스 환경 (sandbox Environment)을 구축하기 더 쉽게 만들고, 요청 양을 확인하는 것과 같이 더욱 보안을 강화하는 특정 유형의 프록시입니다.

• —”측면 이동 (lateral movement)”—”찾고자 하는 것을 발견할 때까지 장치에서 장치로 "점프"하는 것
• —”공격 벡터 (Attack vectors)”—”공격 벡터 (attack vector)는 네트워크 또는 컴퓨터 시스템에 대한 무단 접근 (unauthorized access)을 얻는 방법입니다.
• —”탈취된 자격 증명 (Stolen credentials)”—”예를 들어 탈취된 API / API는 예를 들어 레스토랑 내부의 웨이터와 같습니다. 당신이 무엇을 먹고 싶은지 말하면 웨이터가 주방으로 가고, 요리사가 음식을 준비하면 웨이터가 다시 돌아오는 것과 같습니다.
• —”원격 코드 실행 (Remote code execution)”—”해커는 당신의 서버에서 원격으로 코드나 소프트웨어를 실행할 수 있습니다.

"AI 공격 (AI-Attack)"과 제 기사에 대한 의견을 댓글로 남겨주세요.

출처

https://en.wikipedia.org/wiki/Sandbox_(computer_security)
https://github.com/sunblaze-ucb/exploitgym
https://openai.com/index/hugging-face-model-evaluation-security-incident/
https://www.upguard.com/blog/attack-vector#the-difference-between-an-attack-vector-attack-surface-and-threat-vector
https://nesbitt.io/2026/05/11/proxy.html
https://de.wikipedia.org/wiki/Proxy_(Rechnernetz)