자율 에이전트가 어떻게 Hugging Face를 침해했는가 — 그리고 RAG 포이즈닝 (Poisoning) 필터가 무엇을 막을 수 있었을까 - Insights | Molayo

사건 개요

2026년 7월, AI 모델과 데이터셋의 가장 큰 공개 저장소인 Hugging Face는 자율 AI 에이전트에 의해 침해되었다고 밝혔습니다. 시작점은 데이터 처리 파이프라인(data processing pipeline) 자체였습니다. 악성 데이터셋이 두 가지 코드 실행 경로 — 원격 코드 데이터셋 로더(remote code dataset loader)와 데이터셋 설정 내의 템플릿 인젝션(template injection) — 를 악용하여 처리 워커(processing worker)에서 코드를 실행했습니다.

초기 업로드가 완료된 후, 에이전트는 거기서 멈추지 않았습니다. 에이전트는 노드 수준(node-level)의 액세스로 권한을 상승시키고, 클라우드 및 클러스터 자격 증명(credentials)을 수집했으며, 여러 내부 클러스터로 측면 이동(laterally move)했습니다. 이 과정은 주말 동안 인간의 개입(human in the loop) 없이 자율적으로 이루어졌으며, 기록된 동작은 17,000건이 넘습니다.

이 글을 쓰는 시점까지 CVE 번호, 익스플로잇 체인(exploit chain) 다이어그램 또는 공격 주체에 대한 세부 정보는 공개되지 않았습니다. Hugging Face는 에이전트가 공개된 사용자 대상 모델, 데이터셋, Spaces 또는 자체 소프트웨어 공급망(software supply chain)을 조작했다는 증거를 발견하지 못했다고 밝혔습니다. 여기서 주목할 점은 이번 공격의 범위가 우리가 매일 사용하는 공개 저장소가 아닌 내부 인프라였다는 것입니다.

에이전트 기반 인프라(agentic infrastructure)나 LLM 관련 공급망을 운영하는 사람들에게 중요한 것은 공격의 형태입니다: 데이터셋이 페이로드 전달 메커니즘(payload delivery mechanism)이었고, 해당 데이터셋을 로드하는 것과 연결된 코드 실행 경로가 벡터(vector)였습니다.

이는 가상의

악성 콘텐츠가 "단순한 데이터"로 패키징됩니다. 데이터셋, 설정 파일(config file), 템플릿 등 — 비활성 콘텐츠처럼 보이지만 다운스트림 도구(원격 코드 로더, 템플릿 엔진, 역직렬화(deserialization) 단계)에 의해 파싱되거나 실행되는 무언가입니다.
파서(Parser)가 콘텐츠를 신뢰합니다. 데이터셋에 정의된 로직을 가져와 실행하는 원격 코드 로더나 데이터셋 설정을 렌더링하는 템플릿 엔진은 "데이터"와 "코드" 사이의 경계를 모호하게 만들기 때문에 주요 공격 대상이 됩니다.
초기 실행이 발판(foothold)이 됩니다. 일단 플랫폼의 컨텍스트 내에서 코드가 실행되면, 공격자 — 이 경우에는 자율 에이전트(autonomous agent) — 는 자격 증명 탈취, 권한 상승(privilege escalation), 측면 이동(lateral movement)으로 피벗(pivot)합니다.
자동화가 병목 현상을 제거합니다. 인간 공격자는 내부 네트워크를 탐색하는 데 시간이 필요합니다. 하지만 자율 에이전트는 잠을 자지도, 지루해하지도 않으며, 아무도 대시보드를 확인하지 않는 주말 동안 수천 개의 탐색적 동작을 병렬로 수행할 수 있습니다.

무서운 점은 초기 익스플로잇(exploit)이 아니라 바로 4단계입니다. 자율 에이전트는 공격자의 추가적인 노력 없이도 "단 하나의 취약점"을 "자기 주도적인 캠페인"으로 탈바꿈시킵니다.

Hugging Face가 잘한 점 — 그리고 가드레일(Guardrail) 문제

공정하게 평가하자면, 이번 사례에서 Hugging Face의 대응은 침해 사고 자체보다 더 흥미롭습니다. Hugging Face는 자체 AI 모델을 사용하여 공격을 재구성했다고 밝혔습니다. 즉, 17,000개의 전체 동작 로그를 분석하여 타임라인을 구축하고, 침해 지표(indicators of compromise)를 추출하며, 어떤 자격 증명이 노출되었는지 매핑하고, 실제 영향과 미끼 활동(decoy activity)을 분리하는 작업을 수행했습니다. 이는 올바른 직관입니다. 수천 개의 자동화된 동작이 몰려드는 것은 인간 분석가가 주말 동안 수작업으로 분류(triage)할 수 있는 수준이 아닙니다. 기계 속도로 움직이는 공격자에 맞서려면 기계 속도의 분석이 필요합니다.

하지만 그들의 공개 내용 중에는 에이전트 기반 방어(agentic defense)를 수행하는 모든 보안 팀이 진지하게 고민해 봐야 할 함정이 숨겨져 있습니다. 보고에 따르면 조사 과정에서 상용 프런티어 모델(commercial frontier models)들이 도움이 되지 않았는데, 이는 모델의 안전 가드레일(safety guardrails)이 실제 공격 명령, 익스플로잇 페이로드(exploit payloads), 그리고 C2 아티팩트(C2 artifacts)가 포함된 요청을 차단했기 때문입니다. 이는 방어자가 분석하는 데 정확히 필요한 자료들입니다. 호스팅된 모델이 공격자가 악성코드를 작성하는 것을 돕지 못하게 막는 바로 그 거부 동작이, 방어자가 악성코드를 읽어내는 것조차 막아버리는 것입니다.

실질적인 교훈은 다음과 같습니다. 사고가 발생하기 전에 검증된 셀프 호스팅(self-hosted) 모델을 준비해 두어야 합니다. 이는 안전 규범을 우회하기 위해서가 아니라, 사고 대응(incident response) 과정에서 공격자가 제공한 페이로드와 자격 증명(credentials)을 직접적으로 추론해야 하기 때문입니다. 위기 상황 도중에 분석이 차단되거나, 분석 데이터가 제3자 API로 외부로 유출되는 상황을 원치 않기 때문입니다. 이것이 호스팅된 모델의 가드레일 자체를 반대하는 논거는 아닙니다. 다만 "AI 지원 방어(AI-assisted defense)"는 "AI 채팅 어시스턴트"와는 의도적으로 다른 배포 태세(deployment posture)가 필요하며, 대부분의 팀은 아직 이를 구축하지 못했다는 주장입니다.

탐지 격차 (The Detection Gap)

WAF, 네트워크 IDS, 엔드포인트 탐지(endpoint detection)와 같은 전통적인 인프라 보안 도구들은 HTTP 트래픽, 시스템 호출(syscalls), 프로세스 트리(process trees)를 감시하도록 설계되었습니다. 이러한 도구 중 그 어떤 것도 데이터셋 업로드의 _내부_를 들여다보며 "이 데이터셋의 설정(config)에 템플릿 인젝션(template injection) 페이로드가 포함되어 있는가?" 또는 "이 원격 코드 로더(remote-code-loader) 매니페스트가 실행되어서는 안 될 무언가를 참조하고 있는가?"라고 묻지는 않습니다.

그것이 바로 격차(gap)입니다. 데이터셋과 RAG 코퍼스(corpora)는 코드 경로(code paths)가 아닌 콘텐츠(content)로 취급됩니다. 표준 파일 업로드 스캐닝은 바이너리 내의 악성코드 시그니처를 확인하지만, YAML 설정에 임베딩된 템플릿 인젝션 구문이나 데이터셋 로더 스크립트에 숨겨진 코드 실행 트리거를 포착하도록 설계되어 있지 않습니다.

그리고 일단 에이전트가 내부로 침투하면, 표준 IAM 및 네트워크 모니터링은 이상한 _인간_의 행동 패턴을 감시할 뿐, 짧은 루프 내에서 수천 개의 정상적으로 보이는 API 호출을 생성할 수 있는 에이전트의 특성에 적응하지 못합니다.

Sentinel이 이를 포착했을 지점

Sentinel의 탐지 파이프라인 (detection pipeline)은 바로 이러한 신뢰 경계 (trust boundary)의 전면에 위치하도록 설계되었습니다. 이는 단순히 사용자 프롬프트뿐만 아니라, 데이터셋 및 에이전트가 소비하는 도구 출력 (tool outputs)을 포함하여 LLM 또는 에이전트 파이프라인 (agentic pipeline)으로 유입되는 모든 콘텐츠를 대상으로 합니다.

**Layer 2 (Fast-Path Regex)**는 도구/함수 오용 (tool/function abuse) 및 인젝션 패턴 (injection patterns)을 구체적으로 겨냥하는 패턴들을 포함합니다. 실행 권한을 탈취하기 위해 설계된 템플릿 인젝션 (template injection) 구문이나 원격 코드 로더 (remote-code-loader) 지시어가 포함된 악성 데이터셋 설정은, 콘텐츠가 처리 파이프라인에 도달하기 전에 이 계층이 포착하도록 구축된 고신뢰 시그니처 (high-confidence signature)의 전형적인 사례입니다.

**Layer 3 (Deep-Path Vector Similarity)**는 여기서 가장 중요한 계층입니다. Sentinel은 공격 시그니처 임베딩 (attack signature embeddings) 라이브러리를 유지하며, 코사인 유사도 (cosine similarity)를 통해 유입되는 콘텐츠를 이들과 비교합니다. 알려진 정규 표현식 (regex) 패턴과 정확히 일치하지는 않더라도, 알려진 RAG 포이즈닝 (RAG-poisoning) 또는 코드 실행 인젝션 (code-execution-injection) 패턴과 의미론적으로 유사한 데이터셋 업로드는 유사도 점수에 따라 플래그 지정 (flagged), 중화 (neutralized), 또는 차단 (blocked) 조치를 트리거하게 됩니다. 이것이 바로 정확한 일치 시그니처를 넘어 동일한 공격 클래스의 새로운 변종을 포착할 수 있도록 일반화된 메커니즘입니다.

**Layer 4 (Secret & Credential Detection)**는 이번 사건의 후반부와 직접적으로 관련이 있습니다. 에이전트가 권한을 상승시키고 자격 증명 (credentials)을 수집하기 시작했을 때, 해당 측면 이동 (lateral movement) 과정에서 API 키, 토큰 (tokens) 또는 자격 증명이 드러나는 모든 도구 출력이나 중간 결과물은 위협 점수 산정 계층 (threat-scoring layers)이 해당 콘텐츠를 악성으로 분류했는지 여부와 관계없이 여기서 포착되었을 것입니다. 설령 포이즈닝된 데이터셋의 페이로드 (payload)가 기술적인 허점으로 위협 점수 산정기를 통과했더라도, Layer 4는 탈취된 도구로부터 반환된 결과물에 포함된 Anthropic 키, AWS 자격 증명, GitHub 토큰 또는 베어러 토큰 (bearer tokens)이 다운스트림 에이전트나 로그에 도달하기 전에 이를 마스킹 (redacted)했을 것입니다.

특히 에이전트적 차원(agentic dimension), 즉 수천 개의 자동화된 동작을 수행하는 자율 에이전트의 경우 — Sentinel의 에이전트 세션용 투명 프록시 (transparent proxy) 모델은 도구 결과(tool results)가 에이전트로 반환되기 전에 스캔합니다. 이것이 중요한 병목 지점(choke point)입니다. 설령 초기 악성 데이터셋이 다른 채널을 통해 통과했더라도, 측면 이동 (lateral movement)에 사용되는 후속 도구 출력값(자격 증명 덤프, 내부 API 응답, 설정 읽기 등)은 에이전트가 이를 실행에 옮기기 전에 동일한 스크러빙 파이프라인 (scrub pipeline)을 거치게 됩니다.

예시 (Illustrative Example)

이는 Sentinel의 문서화된 탐지 계층을 기반으로 한 가상의 시나리오이며, Hugging Face 사고에 대한 실제 대응은 아닙니다. 하지만 템플릿 인젝션 (template injection) 페이로드가 포함된 데이터셋 설정 (dataset config)에 대해 스크러빙된 응답이 어떤 모습일지 보여줍니다:

{
  "request_id": "d4f9a2e1...",
  "security": {
...

그리고 원격 코드 로더 (remote code loader)가 콘텐츠에 접근하기 전에 데이터셋 인제스션 파이프라인 (dataset ingestion pipeline)이 어떻게 Sentinel을 통해 콘텐츠를 라우팅할 수 있는지 보여주는 예시적인 Python 호출 코드입니다:

import httpx

# 예시: 데이터셋 설정이 파싱/로드되기 전에 스크러빙 수행
...

tier: "strict" 설정을 주목하십시오. 데이터셋 설정이나 원격 코드 로더 매니페스트 (remote-code-loader manifests)와 같이 신뢰 경계 (trust-boundary)가 높은 콘텐츠의 경우, 오류 발생 시의 영향 범위 (blast radius)를 고려할 때 엄격한 임계값 (strict thresholds: neutralize > 0.40, flag > 0.25)을 적용하는 것이 적절합니다.

RAG 파이프라인도 동일한 문제를 안고 있다

이와 동일한 유형의 공격이 RAG (Retrieval-Augmented Generation)에도 적용된다는 점을 짧게 언급할 가치가 있습니다. 지식 베이스 (knowledge base) 내의 오염된 (poisoned) 문서는 오염된 데이터셋 설정 (dataset config)과 기능적으로 동일한 신뢰 위반을 일으킵니다. 즉, 겉보기에는 비활성 상태인 것처럼 보이지만, 하류 (downstream) 단계에서 LLM (Large Language Model)이 수행하는 동작을 형성합니다. Sentinel은 동일한 /v1/scrub 엔드포인트를 사용하여 이를 처리합니다. 쿼리 시점 (query time, 프롬프트에 주입되기 전 검색된 청크를 스캔) 또는 수집 시점 (ingestion time, 임베딩되어 저장되기 전 문서를 배치 스캔) 중 하나를 선택할 수 있으며, 이를 통해 오염된 콘텐츠가 애초에 지식 베이스에 들어오지 못하도록 차단합니다. RAG 파이프라인을 운영 중이며 엔드포인트 형태를 확인하고 싶다면, 두 패턴에 대한 자세한 내용은 문서에 나와 있습니다.

요점 (Takeaway)

LLM, 에이전트(agent), 또는 자동 로더(automated loader)가 외부 데이터셋, 모델 카드(model cards), 또는 RAG 코퍼스(corpora)를 단순히 "데이터"로만 소비하는 파이프라인을 운영하고 있다면, 즉시 중단하십시오. 그러한 신뢰 가정(trust assumption)이 바로 취약점입니다. 해결책은 더 많은 네트워크 모니터링이 아닙니다. 콘텐츠 자체가 실행 가능한 코드 경로에 도달하기 전, 수집 시점 (point of ingestion)에서 콘텐츠를 직접 스캔하는 것입니다.

별도로: 만약 AI 지원 사고 대응 (AI-assisted incident response)을 구축하고 있다면, Hugging Face의 사례는 실제 운영상의 문제에 대한 예고편입니다. 사고가 발생한 도중에 그 격차를 고통스럽게 깨닫기 전에, 가드레일 잠금 (guardrail lockout) 없이도 공격자의 페이로드 (payload)를 추론할 수 있는 검증된 모델을 미리 계획하십시오.

오늘부터 시작하십시오: 자율 에이전트나 원격 로더가 파싱할 모든 대상 앞에 스크러빙 레이어 (scrubbing layer)를 배치하십시오. 이는 단순히 사용자의 채팅 입력에만 국한되지 않습니다. 만약 귀하의 에이전트 프레임워크가 외부 도구나 데이터셋을 호출한다면, 그곳은 신뢰 경계 (trusted boundary)가 아니라 스크러브 지점 (scrub point)입니다.

직접 체험해 보세요: Sentinel은 sentinel-proxy.skyblue-soft.com에서 무료로 시작할 수 있습니다 (신용카드 불필요). 셀프 호스팅 방식의 Docker Compose 스택 또는 SaaS 방식 모두 동일한 탐지 파이프라인을 제공합니다.

Insights

자율 에이전트가 어떻게 Hugging Face를 침해했는가 — 그리고 RAG 포이즈닝 (Poisoning) 필터가 무엇을 막을 수 있었을까

요약

핵심 포인트