지난주, Hugging Face는 자신들의 인프라를 침해한 AI 에이전트를 탐지 및 격리한 후 새로운 종류의 보안 사고(security incident)(새 창에서 열기)를 공개했습니다. 이는 사이버 능력이 점점 더 뛰어난 모델들이 확산됨에 따라 더욱 흔해질 것으로 예상되는 현상입니다. 조사 결과, 우리는 이 특정 사고가 사이버 능력 벤치마크(benchmark)(새 창에서 열기)에 대한 내부 테스트 과정에서, 평가 목적으로 사이버 거부(cyber refusals) 기능이 축소된 GPT-5.6 Sol 및 훨씬 더 뛰어난 성능을 가진 프리릴리스(pre-release) 모델을 포함한 OpenAI 모델들의 조합에 의해 발생했음을 파악했습니다.

우리는 이번 사고를 최첨단 사이버 능력이 개입된 전례 없는 사이버 사고로 간주하며, 이에 따라 적절히 대응하고 있습니다. 우리는 방어자들이 무슨 일이 일어났는지 이해하고 현재 모델들이 무엇을 할 수 있는지 조정하는 데 도움을 주기 위해 현 단계에서 예비 조사 결과(preliminary findings)를 공유합니다. 우리는 Hugging Face와 함께 철저한 조사를 계속할 것이며, 조사가 완료되면 취약점, 사고 및 조사 결과에 대한 더 자세한 내용을 공유할 것입니다.

이 사고는 모델의 사이버 능력을 정량화하기 위해 복잡한 공격 경로를 사용하여 고급 익스플로잇(exploitation)을 수행하도록 유도하는 내부 평가 중에 발생했습니다. 우리는 모델이 고위험 사이버 활동을 수행하는 것을 방지하기 위해 사용되는 프로덕션 분류기(production classifiers) 없이 이 평가를 실행함으로써 최대 사이버 능력을 추정합니다. 우리의 벤치마크는 매우 격리된 환경에서 실행되며, 네트워크 액세스는 패키지 레지스트리의 프록시 및 캐시 역할을 하는 내부 호스팅된 제3자 소프트웨어를 통해 패키지를 설치할 수 있는 능력으로 제한됩니다.

해당 모델들은 OpenAI의 연구 환경과 Hugging Face의 프로덕션 인프라(production infrastructure) 전반에 걸쳐 취약점을 식별하고 체이닝(chaining)하여, Hugging Face의 프로덕션 데이터베이스로부터 테스트 솔루션을 직접 획득했습니다. 모든 증거는 모델들이 ExploitGym에 대한 해결책을 찾는 데 극도로 집중했으며, 다소 좁은 테스트 목표를 달성하기 위해 극단적인 수단까지 동원했음을 시사합니다.

샌드박스(sandboxed) 테스트 환경에서 작동하는 동안, 우리 모델들은 평가 문제를 해결하기 위해 공개 인터넷(open Internet) 액세스 방법을 찾는 데 상당한 양의 추론 연산(inference compute)을 소비했습니다. 액세스를 얻기 위해 모델들은 패키지 레지스트리 캐시 프록시(package registry cache proxy)에서 제로데이 취약점(zero-day vulnerability, 현재 벤더사에 책임 있는 공개를 완료함)을 식별하고 이를 악용했습니다. 이 액세스 권한을 통해 모델들은 인터넷 액세스가 가능한 노드에 도달할 때까지 연구 테스트 환경 내에서 일련의 권한 상승(privilege escalation) 및 측면 이동(lateral movement) 작업을 수행했습니다.

인터넷 액세스를 확보한 후, 모델들은 Hugging Face가 ExploitGym을 위한 모델, 데이터셋 및 솔루션을 호스팅하고 있을 가능성이 있다고 추론했습니다. 이를 인지한 모델은 평가를 속이는 데 사용할 수 있는 비밀 정보에 접근할 방법을 검색하여 성공적으로 찾아냈습니다. 한 사례에서는 모델이 탈취된 자격 증명(credentials)과 제로데이 취약점을 사용하는 것을 포함하여 여러 공격 벡터(attack vectors)를 체이닝함으로써 Hugging Face 서버에서 원격 코드 실행(remote code execution) 경로를 찾아냈습니다. OpenAI 보안 팀은 내부적으로 이러한 비정상적인 활동을 발견했습니다.

Hugging Face 보안 팀과 에이전트들은 자사 인프라에서의 활동을 감지하고 차단했으며, 우리 팀이 연락했을 당시 이미 자체 오픈소스 모델을 사용하여 봉쇄(containment) 및 포렌식 재구성(forensic reconstruction)을 시작한 상태였습니다. 우리는 사고 조사를 지속하기 위해 그들과 적극적으로 협력하고 있습니다. 조사 및 복구 과정에서 보여준 Hugging Face의 신속하고 긴밀한 협력에 감사드립니다.

• 조사 과정의 일환으로, 취약점이 패치되는 동안 연구 속도(research velocity)를 희생하더라도 인프라 설정(infrastructure configuration)에 엄격한 통제를 적용하고 있습니다. 우리는 이러한 통제 조치와 그 영향을 안전 및 보안 위원회(Safety and Security Committee)에 정기적으로 보고하고 있습니다.
• 우리는 사고에 대한 포렌식 조사(forensically investigate)를 위해 Hugging Face와 협력하고 있습니다.
• 우리는 내부적으로 호스팅되는 제3자 소프트웨어에서 발견된 제로데이 취약점(zero-day vulnerability)을 책임감 있게 공개(responsibly disclosed)했으며, 패치를 위해 해당 업체와 협력하고 있습니다.
• 우리는 Hugging Face를 신뢰할 수 있는 액세스 프로그램(trusted access program)에 참여시켰으며, 그들의 팀이 방어력을 개선하기 위해 우리 모델의 역량을 신속하게 활용할 수 있도록 지원하고 있습니다.
• 우리는 향후의 학습(training) 및 평가(evaluations)에 대해 더 강력한 보호 조치를 개선하고 추가하고 있습니다. 이번 주, 우리는 긴 호흡의 모델(long horizon models) 시대에 안전성과 정렬(alignment)을 개선하는 것에 관한 블로그를 게시했습니다. 이번 평가 기간 동안 이러한 배포 안전장치(deployment safeguards)를 의도적으로 활성화하지 않았는데, 이는 사이버 취약점 테스트를 목적으로 했기 때문입니다. 이번 사고는 모델의 정렬(alignment), 평가 시간 동안의 사이버 보호, 그리고 내부 테스트 중의 모니터링을 더욱 강화해야 할 필요성을 시사합니다.

최근 공유한 바와 같이, AI는 취약점의 발견과 악용을 가속화하고 있습니다. 이번 사고를 통해 얻은 주요 교훈은 모델의 보안과 안전이 급격히 발전하는 역량과 발을 맞춰야 한다는 것입니다. 우리는 모델 개발 중에 사용되는 격리(containment), 모니터링, 액세스 제어(access controls) 및 평가 관행을 강화하고 있습니다.

영국 AI 안전 연구소(UK AISI)의 평가에 따르면, GPT-5.6 Sol과 같은 모델들은 긴 시간 범위에 걸쳐 복잡하고 다단계적인 사이버 작전을 수행할 수 있는 능력이 점점 더 커지고 있습니다. 이번 사고는 이러한 이론적 역량이 실제 환경에서도 적용될 수 있음을 의미합니다.

Chart from the UK AI Security Institute comparing recent open-weight models and frontier models on long-horizon cyber ranges.

또한 이번 사고는 고급 모델이 소스 코드에 대한 접근 권한 없이도 실제 시스템에서 새로운 공격 경로를 발견하고 악용할 수 있음을 명확히 보여줍니다. 이는 고급 사이버 역량이 더 강력한 안전장치 및 방어 도구와 함께 개발되어야 함을 강조합니다.

우리는 고도의 사이버 역량을 갖춘 모델이 공격자가 발견하기 전에 보안 팀이 약점을 찾고, 취약점이 어떻게 연쇄적으로 연결(chained)될 수 있는지 이해하며, 기계의 속도(machine speed)로 이를 해결(remediate)할 수 있도록 도와야 한다고 믿습니다. 우리는 이러한 역량을 활용하여 인프라 설정 및 모델 평가 환경 주변의 보호 조치를 지속적으로 강화하고 있으며, 학습 과정에서 얻은 발견 사항과 모범 사례(best practices)를 공유할 예정입니다. 우리는 다른 방어자들이 신뢰할 수 있는 액세스(trusted access)를 신청하고 지금 바로 이 모델들을 실험하여, 이러한 역량을 더 나은 예방, 더 빠른 탐지, 그리고 더 효과적인 사고 대응(incident response)으로 전환할 것을 권장합니다.

“우리는 이 사안과 다른 주제들에 대해 OpenAI와 협력하게 된 것에 감사드립니다. 아마도 이와 같은 종류의 첫 번째 사례일 수 있는 이번 사건은 우리가 오랫동안 믿어온 점을 증명합니다. 즉, AI 안전(AI safety)은 비밀리에 활동하는 단일 기업에 의해 해결되지 않을 것이라는 점입니다. 이는 공개된 환경에서, 협력적으로, 그리고 전 세계 모든 방어자가 AI에 폭넓게 접근할 수 있을 때 해결될 것입니다.”