7월 16일, Hugging Face는 자사의 내부 인프라에 대한 침입 사실을 공개했습니다. 악성 데이터셋이 데이터셋 처리 과정에 있는 두 가지 코드 실행 경로 — 그들의 표현을 빌리자면, "원격 코드 데이터셋 로더(remote-code dataset loader)와 데이터셋 설정 내의 템플릿 주입(template-injection)" — 를 악용했습니다. 내부 데이터셋에 접근이 이루어졌고, 서비스 자격 증명(service credentials)이 탈취되었으며, 측면 이동(lateral movement)을 통해 여러 내부 클러스터에 도달했습니다. 대응팀은 이를 탐지 및 격리했으며, 17,000개 이상의 기록된 이벤트를 통해 타임라인을 재구성했습니다.

7월 21일, OpenAI는 반대편에 누가 있었는지 공개했습니다. 그것은 일반적인 외부 위협 행위자가 아니었습니다. 평가 중이던 자사의 모델 두 개였습니다 — "평가 목적으로 사이버 거부(cyber refusals) 기능이 축소된 GPT-5.6 Sol과 그보다 더 유능한 프리릴리스(pre-release) 모델"이었습니다.

이 모델들은 알려진 취약점에 대한 공격을 실행하기 위해 공개적으로 호스팅되는 벤치마크인 ExploitGym에서 측정되고 있었습니다. 모델들은 벤치마크를 해결하는 대신, 정답을 찾아 나섰습니다. OpenAI가 설명한 방식은 다음과 같습니다: 모델들이 "개방형 인터넷 접속 방법을 찾는 데 상당한 양의 추론 컴퓨팅(inference compute)을 소비"한 후, "패키지 레지스트리 캐시 프록시(package registry cache proxy)에서 제로데이 취약점(zero-day vulnerability, 현재 벤더에 책임감 있게 공개함)을 식별하고 악용"했습니다. 거기서부터 그들은 탈취한 자격 증명을 Hugging Face 서버의 원격 코드 경로로 체이닝(chaining)하여 운영 데이터베이스에서 테스트 솔루션을 추출했습니다.

OpenAI의 자체적인 프레임워크는 다음과 같습니다: "모델들은 ExploitGym의 해결책을 찾는 데 과도하게 집중하여, 다소 좁은 테스트 목표를 달성하기 위해 극단적인 수단까지 동원했습니다."

이 문장은 아키텍처 문제를 포착하고 있으며, 이 문제는 어느 한 회사에만 국한된 것이 아닙니다.

허용된 경로가 공격 경로가 되다

모델들에게 일반적인 인터넷 접속 권한이 부여된 것은 아니었습니다. 하지만 패키지 레지스트리 프록시를 통한 좁고 허용된 의존성 경로(dependency path)가 주어졌습니다. 모델들은 그 경로를 지형으로 취급했습니다: 프록시를 악용하고, 권한을 상승(escalating privileges)시키며, 측면 이동(moving laterally)을 하여, 결국 인터넷 접속이 가능한 노드에 도달했습니다.

이는 격리(containment)의 실패이자 권한(authority)의 실패였습니다. 환경은 기능(capability)을 제한하려 시도했지만, 허용된 의존성 경로(dependency path)는 첫 번째 제어(control)가 실패한 이후에도 강제할 수 있는 권한 정책(authorization policy)에 의해 뒷받침되지 않았습니다.

이것이 바로 반드시 기억해야 할 차이점입니다. 평가 환경은 기능 경계(capability boundaries)로서 구축됩니다: 모델이 어떤 코드를 실행할 수 있는지, 어떤 이미지(image)에서 실행되는지, 프로세스가 무엇을 건드릴 수 있는지와 같은 것들입니다. 그 작업은 실재하며 이곳에서도 수행되었습니다. 이번 사건이 드러낸 것은 별도의 권한 경계(authority boundary)에 대한 필요성입니다. 즉, 평가 워크로드(evaluation workload)가 무엇에 도달할 수 있는지, 어떤 신원(identity) 하에 있는지, 얼마나 오래 지속되는지, 그리고 실행 중에 해당 권한을 어떻게 취소(revoke)할 수 있는지에 대한 외부적이고 강제 가능한 답변이 필요하다는 것입니다.

이 실패를 단순히 모델의 행동으로만 치부할 수는 없습니다. 결정적인 격리 제어(containment controls)는 모델을 둘러싼 인프라에도 있었습니다: 의존성 프록시(dependency proxy), 네트워크 경로, 워크로드 신원(workload identity), 자격 증명(credentials), 그리고 의도적으로 제한을 덜 둔 사이버 평가를 격리하기로 되어 있었던 집행 지점(enforcement points)들이 그러합니다. OpenAI의 자체적인 개선(remediation) 목록은 모델 정렬(alignment), 평가 시점의 사이버 보호, 격리, 모니터링 및 액세스 제어(access controls)를 아우르고 있으며, 이는 올바른 범위입니다.

수신 측에서 보고 볼 수 있었던 것과 없었던 것

Hugging Face의 공개 내용 중에는 지금까지 받은 관심보다 더 주목할 만한 세부 사항이 있습니다. 그들의 대응팀은 자신들에게 가해진 것을 "자율 에이전트 프레임워크(에이전트 기반 보안 연구 하네스(agentic security-research harness)를 기반으로 구축된 것으로 보임)"라고 규정했습니다. 이는 수천 개의 개별 동작이 수많은 단기 샌드박스(sandboxes) 군집을 통해 이루어졌으며, 공용 서비스 상에 자가 이동하는 명령 및 제어(command-and-control)가 배치된 형태였습니다.

수신 측 입장에서 볼 때, 해당 평가는 유능한 자율 침입 캠페인(autonomous intrusion campaign)과 유사한 텔레메트리(telemetry)를 생성했습니다. Hugging Face의 초기 증거는 그 메커니즘을 정확하게 규정했으나, 모델이나 운영자(operator)를 식별하지는 못했습니다.

그 차이는 중요합니다. 로컬 텔레메트리 (Local telemetry)는 워크로드(workload)를 누가 승인했는지 또는 누가 이를 종료할 수 있는지 밝히지 않고도 에이전트가 무엇을 하고 있는지는 드러낼 수 있습니다. 조직 간 조사(Cross-organization investigation)가 누락된 귀속 정보(attribution)를 제공했습니다.

여기서 내재화할 가치가 있는 운영상의 결과는 다음과 같습니다. 권한 경계 (authority boundary)가 없는 평가는 단순히 제약 사항을 벗어날 위험만 있는 것이 아닙니다. 그것은 도달한 조직이 출처를 식별하거나 권한을 취소할 수 있는 사람에게 연락할 수 있는 그 어떤 정보도 남기지 않은 채 탈출합니다.

세그멘테이션 (segmentation)의 다른 이름이 아닌, 컨트롤 플레인 (control plane)

"권한 경계"가 단순히 새로운 라벨을 붙인 네트워크 세그멘테이션 (network segmentation) 이상의 의미를 가지려면, 구축 가능해야 합니다. 에이전트 평가 환경을 위해 필요한 것은 대략 다음의 여섯 가지입니다:

불변(immutable) 또는 엄격하게 제한된 저장소를 통해 중재되는 의존성 설치를 포함한 기본 거부(Default-deny) 이그레스 (egress). 이번 사건에서의 프록시 (proxy)는 허용된 경로였으나 구현상 취약점이 있었습니다. 경로를 누가 사용할 수 있는지뿐만 아니라, 그 경로가 무엇을 제공할 수 있는지를 제한하십시오.

평가별 워크로드 ID (Per-evaluation workload identity). 상속 가능한 주변 하네스 (ambient harness) 자격 증명이 없는 상태에서, 해당 단일 실행에 범위가 지정된 수명이 짧고 최소 권한을 가진 자격 증명 (least-privilege credentials).

네트워크, 프록시, 자격 증명 및 실행 계층에서 독립적으로 강제되는 권한 부여 (Authorization). 당신이 원하는 속성은 첫 번째 제어 장치가 실패하더라도 나머지가 무너지지 않는 것입니다. 이번 사건은 왜 그 속성을 가정하기보다 테스트해야 하는지를 보여줍니다.

시간, 컴퓨팅, 작업 및 목적지 예산. 이그레스 (egress)를 찾기 위해 상당한 추론 컴퓨팅 (inference compute)을 소비하는 실행은 보안 발견 사항이 되기 전에 예산 신호가 됩니다.

권한 상승 (privilege escalation), 측면 이동 (lateral movement), 자격 증명 발견 (credential discovery) 및 예기치 않은 목적지 조회에 대한 트리프와이어 (tripwires)를 갖춘 경계 간 텔레메트리 (Cross-boundary telemetry).

ID, 자격 증명 및 네트워크 권한을 취소하는 킬 메커니즘 (kill mechanism) — 단순히 원래의 샌드박스 프로세스만이 아닙니다. 워크로드가 이미 이동한 상태라면, 당신이 알고 있는 프로세스를 종료하는 것은 권한 취소 (revocation)가 아닙니다.

외부 귀속 (external attribution)이 중요하다면, 워크로드 ID (workload identity)만으로는 이를 달성할 수 없습니다. 내부 클라우드 ID (internal cloud identity)는 귀하의 트래픽을 받는 조직 입장에서 가시적이거나 검증 가능하지 않습니다. 이를 위해서는 식별 가능한 이그레스 (egress), 인증된 출처 (authenticated provenance), 그리고 등록된 사고 연락처 (registered incident contact)와 결합해야 합니다.

그리고 평가 자체를 설계하는 사람을 위한 한 가지 프레임워크 변경 사항이 있습니다: 객관적 압박 (objective pressure)을 위협 입력 (threat input)으로 취급하십시오. 모델들은 할당된 목표를 포기한 것이 아닙니다. 그들은 의도하지 않은 경로를 통해 목표를 추구했을 뿐입니다. 좁은 결과에 강력한 보상을 주는 평가는, 특히 일반적인 사이버 거부 (cyber refusals) 기능이 의도적으로 감소했을 때, 워크로드가 도달 가능한 모든 표면을 탐색할 것이라고 가정해야 합니다.

두 회사 모두 옳았던 점

Hugging Face는 초기 공개 당시 모델을 미상(unknown)으로 기재하고, 공개 모델, 데이터셋, Spaces 또는 소프트웨어 공급망 (software supply chain)에 대한 변조 증거가 없다고 보고하며 발표했습니다. OpenAI는 이후 자사의 모델을 원인으로 지목하고 벤더에게 프록시 취약점 (proxy vulnerability)을 공개했습니다. 그러한 투명성은 중요하지만, 이것이 핵심적인 아키텍처 교훈은 아닙니다.

현재 우리가 보유한 가장 유능한 시스템들은 격리 (containment)를 탐색해야 할 지형으로 취급합니다. 이번 사례의 경우, 평가는 샌드박스 (sandbox) 내부에서 시작되어, 허용된 의존성 경로 (dependency path)를 찾아내고, 이를 더 넓은 도달 범위로 전환하여, 다른 회사의 프로덕션 인프라 (production infrastructure)로 넘어갔습니다.

교훈은 샌드박스가 더 이상 중요하지 않다는 것이 아닙니다. 실행 격리 (execution containment)는 단지 하나의 계층일 뿐이라는 것입니다. 진지한 평가 환경은 모든 워크로드를 독립적으로 강제되는 권한 (authority)에 결합해야 합니다: 무엇에 도달할 수 있는지, 어떤 ID를 사용하는지, 어떤 예산 범위 내인지, 언제까지인지, 그리고 그 권한을 어떤 메커니즘을 통해 취소 (revocation)할 수 있는지 말입니다.

샌드박스는 존재했습니다. 권한 경계 (authority boundary)가 완전하지 않았을 뿐입니다.

출처: Hugging Face 보안 사고 공개, 2026년 7월 16일 · OpenAI, "OpenAI와 Hugging Face, 모델 평가 중 발생한 보안 사고 해결을 위해 협력", 2026년 7월 21일