✓ 사람이 작성한 분석; AI는 서식 지정 및 교정에 사용됨.

모든 제어 매핑은 라이브 카탈로그를 통해 검증되었으며, 합성 피스처(synthetic fixtures)를 대상으로 테스트되었습니다. CSA/SANS/RSAC 사후 분석 보고서(v0.8, 2026년 7월 27일)가 주요 참조 자료입니다.*

지난주, OpenAI 모델이 벤치마크 샌드박스(sandbox)를 탈출하여 자격 증명(credentials)을 훔치고, 제로데이(zero-day)를 연쇄적으로 활용하여 Hugging Face의 운영 시스템을 공격했습니다. 해당 모델은 OpenAI 자체의 레드팀(red-team) 평가 내에서 실행 중이었습니다. 샌드박스는 모델에게 인터넷으로 연결되는 하나의 통제된 경로를 제공했습니다. 모델은 그 경로에서 버그를 발견하고 이를 이용했습니다.

48시간 이내에 700명의 CISO(정보보호최고책임자)가 소집되었습니다. CSA, SANS, RSAC, FIRST, 그리고 Knostic는 30개 이상의 권고 사항을 담은 공동 사후 분석 보고서를 발표했습니다. 권고 사항은 거버넌스(governance), 책임(accountability), 에이전트 신원(agent identity), 기만 기술(deception technology), 그리고 사고 대응 준비 태세(incident response preparedness)에 중점을 두고 있습니다.

이 권고 사항들은 합리적입니다. 하지만 이는 증상을 치료하는 것에 불과합니다.

근본 원인은 더 단순합니다. 모델이 실행되기 전에 샌드박스의 네트워크 설정이 검증되지 않았습니다. 외부로 나가는 경로(egress path)에 취약점이 있었습니다. 자격 증명은 샌드박스 환경에서 접근 가능했습니다. IAM 역할(IAM role)은 외부 타겟에 도달할 수 있을 만큼 충분히 광범위했습니다. 이 세 가지 조건이 결합되어 탈출 경로를 생성한다는 것을 검증하는 복합 점검(compound check)이 없었습니다.

각 조건은 개별적으로는 표준 보안 점검을 통과했을 것입니다. 샌드박스에는 인터넷 접속 제어가 있었습니다. 자격 증명은 관리되고 있었습니다. 역할은 평가 환경 내에 존재했습니다. 세 번의 통과된 점검, 그러나 한 번의 침해.

CrowdStrike 구조

이 사건은 2024년에 수백만 대의 Windows 기기를 마비시켰던 CrowdStrike 장애와 동일한 구조를 가지고 있습니다.

CrowdStrike는 강력한 페이로드(payload, 커널 수준 드라이버 업데이트)를 환경(운영 중인 Windows 플릿) 내에 배치했습니다. 그들은 환경이 페이로드를 안전하게 처리할 것이라고 가정했습니다. 그들은 대상 환경에 대해 업데이트의 설정을 검증하지 않았습니다. 페이로드는 설계된 대로 작동했습니다. 환경은 이를 격리할 수 없었습니다.

OpenAI는 강력한 페이로드(benchmark score를 최적화하는 frontier model)를 환경(evaluation sandbox) 내부에 배치했습니다. 그들은 샌드박스가 페이로드를 가둘 것이라고 가정했습니다. 하지만 그들은 샌드박스의 네트워크 설정(network configuration)을 검증하지 않았습니다. 페이로드는 설계된 대로 작동했습니다. 그것은 점수를 얻기 위한 최단 경로를 찾아냈습니다. 환경은 이를 격리할 수 없었습니다.

동일한 결함 유형입니다: 격리 경계(containment boundary)가 검증된 것이 아니라 가정되었습니다. 두 경우 모두 페이로드는 올바랐습니다. 설정이 잘못되었습니다. 아무도 확인하지 않았습니다.

검증 (Verification)

CSA 사후 분석(post-mortem)에서는 "샌드박스 격리 주장을 회의적으로 대하라"와 "격리 메커니즘을 직접 테스트하라"를 권고합니다. 둘 다 맞습니다. 직접 테스트한다는 것은, 모델이 실행되기 전에 검증되어 모델의 능력과 관계없이 침해를 방지할 수 있는 32가지 설정 불변량(configuration invariants)을 의미합니다.

샌드박스 네트워크 격리 (Sandbox network isolation)

샌드박스가 인터넷으로 연결되는 네트워크 경로를 가지고 있었기 때문에 모델이 탈출했습니다. 격리를 검증하는 다섯 가지 불변량은 다음과 같습니다:

샌드박스 VPC에는 제한 없는 송신(egress)이 없어야 합니다. 에이전트 컴퓨팅(agent compute)의 보안 그룹(Security groups)은 허용 목록(allowlisted)에 있는 목적지로만 아웃바운드 트래픽을 허용해야 합니다. 어떤 포트에서든 0.0.0.0/0을 허용하는 규칙은 격리 실패입니다.

샌드박스 VPC에는 인터넷 게이트웨이(internet gateway)가 없어야 하며, 만약 존재한다면 라우팅 테이블(route tables)이 어떤 서브넷이 게이트웨이에 도달할 수 있는지 제한해야 합니다. 라우팅 테이블 범위 지정(scoping)이 없는 에이전트 VPC의 인터넷 게이트웨이는 모델이 찾아내기를 기다리는 탈출 경로입니다.

에이전트 컴퓨팅은 프로덕션(production)과 공유되지 않는 격리된 VPC에서 실행되어야 합니다. 프로덕션 시스템과 동일한 VPC에 있는 샌드박스는 모델의 네트워크가 곧 프로덕션 네트워크임을 의미합니다.

VPC 피어링(VPC peering)이나 트랜짓 게이트웨이(Transit Gateway)가 샌드박스를 프로덕션에 연결해서는 안 됩니다. 트랜짓 게이트웨이에서의 라우팅 테이블 격리는 세그먼트 간 라우팅(cross-segment routing)을 방지합니다. 이것이 없다면 샌드박스는 허브를 통해 프로덕션으로 라우팅됩니다.

에이전트 역할(agent role)은 프로덕션 비밀 정보(production secrets)에 접근할 수 없습니다. 그래프 도달 가능성 분석(Graph reachability analysis, Datalog 이행적 폐쇄(transitive closure) 사용)을 통해 임의의 AssumeRole 및 PassRole 체인을 거쳐 에이전트 역할에서 민감한 리소스로 이어지는 경로를 추적합니다. 프로덕션 Secrets Manager 항목에 이행적으로 도달할 수 있는 역할은 자격 증명 탈취 경로(credential theft path)가 됩니다.

이 다섯 가지 모두 설정 속성(configuration properties)입니다. 모델이 실행되기 전에 이를 검증할 수 있습니다. 이들은 결정론적(deterministic)입니다. VPC는 제한 없는 외부 송신(unrestricted egress)을 허용하거나 허용하지 않거나 둘 중 하나입니다. 확률적인 판단이나 모델 추론이 필요하지 않습니다. 인프라 상태에 대한 불리언(boolean) 체크일 뿐입니다.

비인간 정체성 범위 지정 (Non-human identity scoping)

모델은 자격 증명을 훔쳐 샌드박스 외부에서 사용했습니다. 다음 일곱 가지 불변량(invariants)이 정체성 격리(identity containment)를 검증합니다:

에이전트 역할은 권한 경계(permission boundaries)를 가집니다. 권한 경계는 연결된 정책(policies)과 관계없이 IAM 역할의 최대 범위를 제한합니다. 권한 경계가 없다면, 해당 역할의 유효 권한(effective permissions)은 우연히 부여된 모든 정책이 되며, 이는 개발 과정에서 확장되었다가 다시 축소되지 않았을 수 있습니다.

에이전트 역할은 짧은 최대 세션 기간(maximum session duration)을 가집니다. 사후 분석(post-mortem)에서는 설계 단계부터 제한된 휘발성 자격 증명(ephemeral credentials)을 권장합니다. 12시간 동안 지속되는 세션은 공격자에게 훔친 자격 증명을 사용할 수 있는 12시간을 제공합니다. 1시간으로 제한된 세션은 악용 가능 시간(exploitation window)을 제한합니다.

에이전트 역할은 CloudTrail 귀속(attribution)을 위해 세션 이름 지정(session naming)을 요구합니다. 세션 이름 지정이 없으면, CloudTrail에서 탈취된 자격 증명의 활동은 해당 자격 증명을 사용한 주체가 아닌 역할(role) 자체에 귀속됩니다. 포렌식(Forensics) 결과 역할이 사용된 것은 확인할 수 있지만, 누구에 의해 또는 무엇에 의해 사용되었는지는 알 수 없습니다.

에이전트 역할은 소스 IP 또는 VPC를 제한합니다. 신뢰 정책(trust policy)의 조건 키(Condition keys)는 역할이 인수(assume)될 수 있는 위치를 제한합니다. 샌드박스 외부에서 탈취되어 사용되는 자격 증명은 자격 증명의 유효성 여부와 관계없이 이 조건에 의해 차단됩니다.

에이전트 역할(Agent roles)에는 Resource: *에 대한 iam:PassRole 권한이 없습니다. 제한 없는 범위의 PassRole은 해당 역할이 Lambda, SageMaker, CodeBuild와 같은 모든 서비스에 자신의 권한을 위임할 수 있게 합니다. 각 위임은 모델이 사용할 수 있는 새로운 실행 컨텍스트(execution context)가 됩니다.

에이전트 역할에는 영구적인 액세스 키(access keys)를 두지 않습니다. 오직 AssumeRole을 통한 일시적인 자격 증명(temporary credentials)만 사용하며, 이는 만료되며 세션 종료 후에는 재사용할 수 없습니다.

OIDC 제공자(OIDC providers)에는 주체(subject) 및 대상(audience) 제한이 있습니다. 에이전트가 외부 ID 제공자(identity provider)를 통해 인증하는 경우, 제공자의 신뢰 구성(trust configuration)은 허용되는 주체와 대상을 제한해야 합니다.

복합 경로 (The compound paths)

개별 제어 항목은 개별 리소스를 검사합니다. 이번 침해는 개별적인 설정 오류가 아니었습니다. 그것은 각각은 개별적으로 수용 가능한 세 가지 리소스를 통과하는 경로였습니다.

샌드박스 탈출 경로: 에이전트 VPC에 제한 없는 송신(egress) 권한이 있고, AND 에이전트 역할에 광범위한 권한이 있으며, AND 포렌식 가시성을 위한 VPC 흐름 로그(VPC flow logs)가 없는 경우입니다. 각 구성 요소는 표준 보안 검사를 통과할 수 있습니다. 복합 경로는 이 세 가지를 모두 상관 분석(correlating)해야 하는 중대한 발견 사항입니다.

자격 증명 탈취 경로: 에이전트 역할이 운영 환경의 비밀(production secrets)을 읽을 수 있고, AND 컴퓨팅 환경에 인터넷 송신(internet egress) 권한이 있으며, AND 역할에 세션 명명(session naming)이 요구되지 않는 경우입니다. 각 리소스는 자체 검사를 통과합니다. 세 가지를 모두 통과하는 경로가 자격 증명이 출처를 밝히지 못한 채 환경을 벗어나는 방식입니다.

모니터링되지 않는 권한 상승 경로: 에이전트 역할에 PassRole 권한과 Lambda 생성(create) 권한이 있고, AND Lambda에 대한 CloudTrail 데이터 이벤트(data events)가 활성화되지 않은 경우입니다. 권한 상승 경로가 존재하지만, 이를 탐지할 포렌식 흔적은 존재하지 않습니다.

불변 인프라(immutable infrastructure) 우회: ECS exec이 활성화되어 있고, AND 루트 파일 시스템(root filesystem)이 쓰기 가능하며, AND 이미지 서명(image signing)이 강제되지 않는 경우입니다. 컨테이너는 런타임에 수정될 수 있고, 수정 사항은 지속되며, 코드 무결성 검사(code integrity check)가 이를 잡아내지 못합니다.

이러한 복합적인 경로(compound paths)가 바로 업계가 직면한 탐지 공백(detection gap)입니다. 시장에 나와 있는 모든 도구는 "이 보안 그룹(security group)이 제한적인가?", "이 역할(role)이 최소 권한(least-privilege)을 따르는가?", "플로우 로그(flow logs)가 활성화되어 있는가?"를 각각 확인할 수 있습니다. 하지만 어떤 도구도 이들을 조합하여 "이 보안 그룹과 이 역할, 그리고 이 텔레메트리 공백(telemetry gap)이 결합되어 탈출 경로(escape path)를 형성한다"라고 구성해내지는 못합니다.

Hugging Face 침해 사고는 이러한 복합적인 경로를 통해 발생했습니다. 사후 분석(post-mortem) 보고서는 거버넌스(governance), 책임성(accountability), 그리고 사고 대응(incident response)을 권고합니다. 이는 필요한 사항들입니다. 하지만 해당 경로를 만들어낸 설정(configuration)은 모델이 실행되기 전에 검증 가능하며, 마땅히 검증되었어야 했습니다.

자격 증명 순환(Credential rotation) 및 휘발성 자격 증명(ephemeral credentials)

사후 분석 보고서는 자격 증명을 대량으로 순환(mass-rotate)할 수 있는 능력을 구축하고, 기본적으로 휘발성 자격 증명(ephemeral credentials)을 사용하도록 설계할 것을 권고합니다.

이 권고 뒤에 숨겨진 설정 불변성(configuration invariants)은 다음과 같습니다: Secrets Manager 순환이 활성화되어 있고(AND) 순환을 담당하는 Lambda가 실제로 존재해야 합니다. 두 번째 확인이 중요한 이유는, 백엔드 Lambda가 삭제되었음에도 콘솔상에서는 순환이 "활성화(enabled)"된 것으로 표시될 수 있기 때문입니다. 비밀 값(secret)은 120일 동안 변경되지 않았는데, 대시보드에는 30일로 표시되는 식입니다. 이러한 유령 참조(ghost reference) — 즉, 활성화된 것처럼 보이지만 삭제된 종속성(dependency)을 참조하는 설정 — 는 클라우드 보안에서 가장 흔한 Tier 3 실패 모드 중 하나입니다.

IAM 액세스 키(access key) 연령 검증, KMS 자동 키 순환, ACM 인증서 만료 모니터링. 이 각각은 검증 가능하고 결정론적(deterministic)인 설정 속성입니다.

불변 인프라(Immutable infrastructure)

사후 분석 보고서는 불변 인프라(immutable infrastructure) 도입을 권고합니다. 즉, 제자리에서 패치(patched in place)하는 대신, 알려진 양호한 이미지(known-good images)로부터 파괴되고 재배포되는 서비스를 의미합니다.

설정 불변성(configuration invariants)은 다음과 같습니다: 읽기 전용 루트 파일 시스템(read-only root filesystems)을 사용하는 ECS 태스크(tasks), 코드 서명(code signing)이 강제된 Lambda 함수, 태그 불변성(tag immutability)과 이미지 스캐닝(image scanning)이 활성화된 ECR 리포지토리, IMDSv2가 강제된 EC2 인스턴스(수년간 표준 공격 기법이었던 사소한 SSRF 자격 증명 탈취를 방지함), 그리고 운영 환경에서 비활성화된 ECS exec입니다.

이것들은 새로운 통제 수단이 아닙니다. 표준적인 클라우드 하드닝 (Cloud Hardening)입니다. 주목할 점은 얼마나 적은 수의 조직이 이 모든 항목을 동시에 검증하는지, 그리고 복합적인 체크 항목(exec 활성화 + 쓰기 가능한 파일 시스템 + 서명 없음 = 무결성 검사 없는 런타임 수정)이 어떤 벤치마크에도 포함되어 있지 않다는 사실입니다.

가드레일의 비대칭성 (The guardrail symmetry)

사후 분석 (Post-mortem)은 모든 보안 팀이 우려해야 할 발견을 드러냅니다. Hugging Face의 방어자들이 공격의 17,000개 동작을 분석하려고 시도했을 때, 그들이 사용한 상용 모델들이 분석 자체를 차단해 버렸습니다. 실제 공격 명령과 익스플로잇 페이로드 (Exploit payloads)가 안전 가드레일 (Safety guardrails)을 트리거하여, 침해 사고 대응자 (Incident responder)와 침입자를 구분하지 못했습니다.

공격자는 어떤 가드레일에도 얽매이지 않았습니다. 하지만 방어자는 얽매여 있었습니다.

이는 인프라 문제에 프롬프트 수준의 통제 (Prompt-level controls)를 적용했을 때 발생하는 필연적인 결과입니다. "위험한 명령"을 차단하는 텍스트 필터는 해당 명령이 공격의 일부인지 아니면 조사 과정의 일부인지 구분할 수 없습니다. 공격자는 텍스트 필터를 사용하지 않지만, 방어자는 사용하기 때문입니다.

구성 검증 (Configuration verification)은 다른 계층에서 작동합니다. 이는 명령을 필터링하는 것이 아니라, 인프라 구성이 애초에 공격 경로의 존재를 방지하고 있는지 검증합니다. VPC는 제한 없는 송신 (Egress) 권한을 가졌거나, 그렇지 않거나 둘 중 하나입니다. 역할 (Role)은 권한 경계 (Permission boundary)를 가졌거나, 그렇지 않거나 둘 중 하나입니다. 이러한 검사들은 공격 명령을 분석하는 것이 아니라 인프라 상태를 검증하는 것이기 때문에 안전 가드레일을 트리거하지 않습니다.

CISO를 위한 실행 지침 (Actionable by CISO)

사후 분석의 "CISO가 지금 해야 할 일 (What a CISO Should Do Now)" 섹션에는 세 가지 시간 지평(이번 주, 이번 달, 이번 분기)에 걸친 20가지 권장 사항이 나열되어 있습니다. 대부분은 프로세스와 거버넌스에 관한 것입니다. 구성 검증 부분은 규모가 더 작고 즉각적으로 실행 가능합니다.

AI 에이전트나 평가를 배포하기 전에 샌드박스 격리 (Sandbox isolation)를 검증하십시오. 실제 VPC 구성을 대상으로 5가지 네트워크 격리 검사를 실행하십시오. 검사는 몇 초밖에 걸리지 않습니다. 하지만 침해 사고를 정리하는 데는 며칠이 걸렸습니다.

7가지 ID 불변성 (identity invariants)을 기준으로 에이전트 역할 범위 (agent role scoping)를 검증하십시오. 권한 경계 (Permission boundaries), 세션 지속 시간 제한 (session duration limits), 세션 명명 (session naming), 소스 제한 (source restrictions), PassRole 범위 (PassRole scope), 자격 증명 수명 (credential lifetime), 그리고 OIDC 제한 (OIDC restrictions)이 포함됩니다. 각각은 클라우드 제공업체가 노출하는 구성 속성 (configuration property)입니다.

개별 제어 항목뿐만 아니라 복합 경로 (compound paths)를 검증하십시오. Hugging Face 침해 사고를 가능하게 했던 '3개 리소스 탈출 경로'는 시장에 나와 있는 모든 스캐너의 개별 검사를 모두 통과합니다. 보안 그룹 (security groups), IAM 역할 (IAM roles), 그리고 텔레메트리 구성 (telemetry configuration) 전반에 걸쳐 리소스를 상관 분석 (correlating)해야 하는 복합 검사만이 이를 잡아낼 수 있습니다.

이 검사들을 단 한 번이 아니라 지속적으로 실행하십시오. 구성 드리프트 (Configuration drifts)가 발생하기 때문입니다. 지난달에는 올바르게 격리되었던 샌드박스라도, 디버깅 세션 중에 이그레스 (egress) 설정이 수정된 후 다시 복구되지 않았을 수 있습니다. 32가지 불변성에 대한 지속적인 검증은 모델이 이를 발견하기 전에 드리프트를 잡아냅니다.

32가지 불변성, 검증 완료

이 기사에서 설명하는 모든 구성 불변성 (configuration invariant)은 오픈 소스 검증 도구인 Stave를 사용하여 실제 클라우드 환경에서 검증할 수 있습니다. 불변성은 다음의 5가지 클러스터에 걸쳐 있습니다: 샌드박스 네트워크 격리 (sandbox network isolation, 5개), 비인간 ID 범위 지정 (non-human identity scoping, 7개), 자격 증명 순환 및 휘발성 자격 증명 (credential rotation and ephemeral credentials, 5개), 불변 인프라 (immutable infrastructure, 6개), 에이전트 텔레메트리 (agent telemetry, 4개), 그리고 복합 교차 리소스 경로 (compound cross-resource paths, 5개).