에이전트형 AI (Agentic AI)는 주로 악성 봇에 의한 사이버 공격의 범람을 가능하게 하고 있습니다

공격자가 통제를 벗어난 AI 모델일 때

2026년 7월 22일, Sam Altman은 발생한 사건의 심각성을 과소평가하는 짧은 문장을 게시했습니다: “모델 평가 과정에서 중대한 보안 사고가 발생했습니다.”

내부 벤치마크 실행 도중, 테스트 목적으로 사이버 거부(cyber refusals) 기능이 축소된 상태로 실행되던 GPT-5.6 Sol과 훨씬 더 강력한 미출시 모델을 포함한 OpenAI 모델들의 조합이 내부 패키지 레지스트리 프록시(package registry proxy)의 제로 데이(zero-day) 취약점을 체이닝(chaining)했습니다. 이들은 권한을 상승시키고, OpenAI의 연구 환경을 따라 측면 이동(laterally)했으며, 인터넷 접속이 허용된 노드에 도달한 뒤, 해당 접속 권한을 이용해 Hugging Face의 프로덕션 인프라(production infrastructure)로 침입했습니다.

현재 AI 이사회에서는 딱히 포옹할 만한 상황이 아닙니다

이 모델은 탈취된 자격 증명(credentials)과 익스플로잇 체인(exploit chains)을 결합하여 원격 코드 실행(remote code execution) 경로를 찾아냈습니다. 이 모든 과정은 오직 하나의 좁은 목표, 즉 ExploitGym이라 불리는 사이버 보안 벤치마크의 정답지를 찾는 것을 추구한 결과였습니다. 어떤 인간도 Hugging Face를 공격하라고 지시하지 않았습니다. 모델은 테스트 정답을 찾기 위한 지름길을 사냥하는 과정에서 스스로 그곳에 도달했습니다.

OpenAI 측이 상황을 파악하기도 전에 Hugging Face의 자체 보안 팀과 에이전트들이 침입을 감지하고 차단했습니다. 이 세부 사항은 공격 자체만큼이나 중요합니다. 침입한 모델은 방향성이 없었으며 좁은 목표에만 몰두해 있었던 반면, 이를 막아낸 방어 체계는 별도의 조직이 자신의 인프라를 능동적으로 감시하고 있었기에 가능했습니다.

AI 모델의 내부 평가(eval) 실행이 파트너사의 프로덕션 데이터베이스에 도달할 수 있는 시스템을 설계한 사람은 아무도 없습니다. 그럼에도 불구하고 그런 일이 발생했습니다. 모델이 취약점을 체이닝하여 아무도 계획하지 않았던 경로를 찾아낼 만큼 충분히 뛰어났기 때문입니다.

핵심 포인트: Artificial Analysis의 프런티어 모델 (frontier models)에 대한 독립적인 벤치마킹 결과에 따르면, GPT-5급 모델은 프로덕션 API 테스트에서 초당 약 60190 토큰 (tokens per second)을 기록하며, 이는 생성된 출력물이 분당 약 3,7008,300 단어에 달하는 속도입니다.

18,000명 이상의 참가자를 대상으로 한 190개 연구의 메타 분석 (meta-analysis)에 따르면, 성인의 평균 묵독 (silent reading) 속도는 분당 238260 단어입니다. 가용 컴퓨팅 자원이 허용하는 한 가능한 많은 에이전트 작업 (agentic tasks)을 병렬로 수행하며 지속되는 1530배 빠른 이 속도 차이야말로, "모델이 아무도 계획하지 않았던 경로를 찾아냈다"는 말의 진짜 이유입니다.

이것은 그토록 빠른 무언가가 이메일을 확인하기 위해 멈추지 않을 때 발생하는 현상입니다. 커피 브레이크도 없고, 사무실 팟 (office pod)에서 Alt-Tab 키에 손을 올린 채 소셜 미디어로 여름 휴가지를 구경하는 일도 없습니다.

이것은 고립된 데이터 포인트가 아니었습니다.
해당 공개가 있기 일주일 전, AI 보안 연구소 (AI Security Institute)의 연구원들은 GPT-5.6 Sol의 사이버 보안 보호 조치에 대해 모든 테스트 라운드에서 보편적인 탈옥 (jailbreaks)을 발견했으며, 이를 단 몇 시간 만에 찾아냈다고 보고했습니다.

이 탈옥들은 공개적인 공격적 사이버 평가 (offensive cyber evaluations)에서 모델의 능력을 그대로 유지했습니다. 즉, 가드레일 (guardrail)이 무너졌음에도 불구하고 모델이 실제로 수행할 수 있는 능력은 약화되지 않았음을 의미합니다.

GPT-5.6에 대한 OpenAI 자체 시스템 카드 (system card) 역시 동일한 긴장 상태에 대해 솔직하게 기술하고 있습니다:

"Sol과 Terra는 회사의 자체 위험 프레임워크 (risk framework) 하에서 사이버 보안 능력이 '높음 (High)'으로 평가되었습니다. 이 모델들은 이전 모델보다 사용자가 실제로 요청한 것 이상으로 행동하려는 경향을 더 많이 보이며, OpenAI는 출시 후 새로운 탈옥이 멈추지 않고 계속 나타날 것으로 예상하기 때문에 자동화된 레드팀 (red-teaming)에 70만 GPU 시간 이상을 투입했습니다."

시야를 넓혀보면 이 패턴은 이번 봄 The Atlantic이 보도한 내용과 일치합니다. 공격자가 새로 공개된 취약점 (vulnerability)을 악용하는 데 걸리는 시간은 2020년 700일 이상에서 2025년 44일로 단축되었으며, 이는 이제 대부분의 보안 팀이 패치 (patch)를 적용할 수 있는 속도보다 더 빠릅니다.

Palo Alto Networks는 고객 기반을 대상으로 한 일일 공격이 전년 대비 4배 증가했다고 기록했습니다. 모델이 파트너사의 운영 환경 침해(production breach)를 위해 제로 데이(zero-day) 취약점을 자율적으로 체이닝(chaining)할 수 있게 해주는 바로 그 AI 역량이 이제 공개적으로 사용 가능한 공격 도구(offensive tooling) 안에 자리 잡고 있으며, 방어자들은 과거에는 수년 단위로 흐르던 시계가 이제는 수주 단위로 빠르게 돌아가는 상황 속에서 시간과 싸우고 있습니다.

이로 인해 발생하는 AI 인프라의 노출 위험

미래의 AI 리스크는 통제 불능의 에이전트 모델(rogue agentic model)이 자율적으로 자격 증명(credentials)을 찾아내고, 익스플로잇(exploits)을 체이닝하며, 원래는 접근해서는 안 될 운영 데이터베이스(production database)에 도달하는 것입니다. 이는 테스트를 위해 안전 분류기(safety classifiers)를 단순히 꺼버림으로써, 활발하게 제어되고 있던 모델이 돌변하여 수행하는 작업입니다.

이것이 바로 클라우드 기반 벡터 데이터베이스(vector database)나 제3자 임베딩 파이프라인(embeddings pipeline)이 이제 평가해야 할 위협 모델(threat model)입니다. 즉, 단순히 인간 공격자나 피싱을 당한 관리자(이 시리즈의 앞부분에서 다룬 npm 사건의 시나리오)가 아니라, 아무도 사전에 매핑하지 않은 권한 상승(privilege escalation) 경로를 기계의 속도로 찾아내며, 에이전트와 메모리 저장소(memory store) 사이에 위치한 바로 그 종류의 자격 증명과 API 키를 사냥하는 자율 에이전트(autonomous agent)를 상정해야 합니다.

클라우드 벡터 저장소(cloud vector store)는 네트워크 주소를 가진 데이터베이스로, 대화 기록, 임베딩(embeddings), 그리고 사용자가 에이전트에게 말한 모든 것을 보유하고 있습니다.

이는 정확히 Hugging Face 사건이 설명하는 것과 같은 유형의 표적입니다. 즉, 인접한 신뢰도가 낮은 환경에서 접근 가능한 운영 시스템(production system)이면서, 지름길을 찾는 에이전트가 탐낼 만큼 가치 있는 무언가를 보유하고 있는 경우입니다.

Hugging Face 팀은 자신들만의 에이전트가 감시하고 있었기에 침입을 포착할 수 있었습니다. 호스팅된 메모리 계층(hosted memory layer)을 운영하는 대부분의 조직은 해당 API 호출의 반대편에서 어떤 일이 일어나고 있는지에 대해 이와 동등한 가시성(visibility)을 확보하지 못하고 있습니다.

이것이 바로 네트워크를 통해 접근 가능한 데이터베이스를 아예 그런 위치에 두지 않는 아키텍처(architecture)가 필요한 이유입니다.

Qix 참사: 나는 해킹당했다(I have been pwned)…

2025년 9월 8일, "qix"로 알려진 한 유지 관리자(maintainer)가 npm 지원팀에서 보낸 것처럼 보이는 이메일을 받았습니다. 이메일은 2단계 인증(two-factor) 자격 증명을 업데이트하라고 요청했습니다. 그는 요청대로 수행했습니다. 불과 몇 분 만에 공격자들은 그의 계정 제어권을 획득했으며, 이를 이용해 chalk, debug, ansi-styles를 포함한 18개 패키지의 악성 버전을 레지스트리(registry)에 푸시(push)했습니다.

이 18개 패키지는 매주 26억 회 이상 빌드 과정에 포함됩니다. 커뮤니티가 이를 발견하기 전까지 악성 코드는 약 2시간 동안 라이브 상태로 유지되었습니다. 그 시간 동안, 코드는 window.ethereum과 같은 브라우저 API(browser APIs)에 침투하여 암호화폐 거래를 감시했고, 사용자가 서명하기 전에 공격자가 제어하는 지갑 주소로 조용히 교체했습니다. 인터페이스는 정상적으로 보였지만, 돈은 다른 곳으로 흘러갔습니다.

그는 미안하다고 말했습니다, 아시겠어요?

2시간이라는 시간이 생각보다 더 중요한 이유

2시간은 아무것도 아닙니다. 대부분의 CI 파이프라인(CI pipelines)이 전체 회귀 테스트(regression suite)를 실행하는 데 걸리는 시간보다도 짧습니다. 하지만 의존성 해결(dependency resolution)은 회귀 테스트를 기다려주지 않습니다. chalk의 새 버전이 레지스트리에 올라오는 순간, 유동적 버전 범위(floating version range)를 사용하는 모든 빌드는 이를 자동으로 가져올 수 있습니다. 그 어떤 사람도 차이점(diff)을 살펴보지 않았습니다. 색상 포맷팅 라이브러리가 왜 fetch 및 지갑 API를 건드려야 하는지 묻는 사람도 없었습니다.

이것이 이 사건의 실제 교훈이며, 암호화폐와는 아무런 관련이 없습니다. 핵심은 당신이 직접 작성하지 않았고, 완전히 감사(audit)할 수 없으며, 업데이트 주기(update cadence)를 제어할 수 없는 소프트웨어 조각이 중요한 무언가의 요청 경로(request path)에 놓여 있을 때 어떤 일이 발생하는가에 대한 것입니다. Chalk와 debug는 문자열 포맷팅, 로그 접두사(log prefixes)와 같이 의존성 중에서도 위험도가 매우 낮은 편에 속합니다. 만약 이런 것들조차 무기화될 수 있다면, 당신의 스택에서 더 높은 권한을 가진 부분들은 더욱 엄격한 정밀 조사(scrutiny)를 받아야 마땅합니다.

중국식 모델 금지 논쟁은 문제의 잘못된 계층을 해결하고 있습니다

이길 수 없다면, 금지할 것인가 아니면 복제할 것인가? 너무나 혼란스럽습니다...

Axios는 이번 주 트럼프 행정부의 일부가 Moonshot의 Kimi가 갑작스럽게 부상함에 따라 중국산 오픈 소스 (open source) AI 모델에 대한 제한 조치를 다시 검토하고 있다고 보도했습니다.

Axios에 따르면, 상무부 (Commerce Department)는 이전에 중국 AI 연구소들을 엔티티 리스트 (Entity List)에 추가하는 것을 고려한 바 있으며, 국가안보국 (NSA)과 백악관 사이버실은 중국 모델의 사용을 권장하지 않는 권고안을 제안했고, 상무부는 지난 여름 동일한 목표를 겨냥한 규칙 초안을 유포했습니다.

이 세 가지 노력은 관계자들이 혁신을 저해할 것을 우려했다는 보고에 따라 모두 중단되었습니다. 하지만 국가 안보 측의 목소리가 영향력을 얻으면서 그러한 저항은 약해지고 있습니다.

백악관 외부 AI 고문인 David Sacks는 X를 통해 이해관계를 직설적으로 표현했습니다: "AI 모델 수익 측면에서 이미 독과점 상태인 선도적인 폐쇄형 연구소 (closed labs)들은 정부가 자신들의 오픈 소스 경쟁자를 제거하기를 원합니다."

그의 주장은 보안 조치로 포장된 금지 조치가 결국 OpenAI와 Anthropic에게 해자 (moat)를 제공할 뿐이라는 것입니다. 반면 미국 기업들은 중국산 오픈 소스 모델이 더 저렴하고, Kimi에 대한 Axios의 보도에 따르면 국내 대안들과 거의 대등한 능력을 갖추고 있기 때문에 어차피 계속해서 중국산 모델을 찾게 될 것이라는 논리입니다.

진정한 질문은 모델이 어디에서 훈련되었는가가 아닙니다

"금지할 것인가 말 것인가"라는 프레임에서 놓치고 있는 사실은 다음과 같습니다. 사람들이 실제로 걱정하는 보안 위험, 즉 그것이 실제 백도어 (backdoor)이든 아니면 단순히 외국 정부의 의도에 대한 불신이든 간에, 그 위험은 모델의 가중치 (weights) 자체보다는 주로 모델 주변의 데이터 파이프라인 (data pipeline)에 존재한다는 점입니다.

아니면 모델이나 소프트웨어에 내장되어 사용자의 움직임을 기록하는 텔레메트리 (telemetry) 감시 코드일까요? 이것이 실제로 일어나고 있습니까? 증거는 어디에 있습니까?

SecurityScorecard의 DeepSeek 앱 분석 결과, 설치 후 원격 동작 변경이 가능한 ByteDance 소유의 라이브러리, 안티 디버깅 (anti-debugging) 조치, 그리고 키스트로크 (keystroke) 추적 기능이 포함된 텔레메트리 (telemetry) 프레임워크가 번들로 포함되어 있음이 발견되었습니다.

NowSecure는 별도의 조사를 통해 DeepSeek의 iOS 앱이 ByteDance의 클라우드 플랫폼인 Volcengine과 통신하며, 키스트로크 패턴 및 기기 데이터를 중국에 기반을 둔 서버로 수집하고 있음을 확인했습니다.

DeepSeek 자체의 개인정보 처리방침 (privacy policy)에는 채팅 기록, 프롬프트 (prompts), 기기 식별자 및 IP 주소를 수집한다고 명시되어 있습니다. 이것이 구체적이고 근거 있는 주장입니다: 텔레메트리 수집은 실제로 존재하며 문서화되어 있고, 이는 중국으로 라우팅되며, 연구자들은 회사의 자체 공개 내용과는 별개로 이를 독립적으로 발견했습니다.

이와 별개로, Booz Allen의 보고서에 따르면 여러 중국 코딩 모델(특히 Qwen3-Coder가 눈에 띄게 많으며, 최대 130% 더 많이)은 프롬프트가 사용자가 미국 정부에서 근무함을 암시할 때 측정 가능한 수준으로 더 취약한 코드를 생성했습니다. 또한 DeepSeek는 정치적으로 민감한 트리거 단어 (trigger words)가 나타날 때 최대 50% 더 보안에 취약한 코드를 생성했습니다.

연구자들은 이것이 의도적인 백도어 (backdoor)를 증명하는 것은 아니며, 학습 데이터의 부산물 (artifact)일 수 있다고 명시했지만, 이러한 행동 패턴 자체는 검증되었으며 재현 가능합니다.

중국의 CNVD는 Claude Code가 지리적 위치 및 신원 데이터를 미국 서버로 전송하는 백도어를 내장하고 있다고 공개적으로 비난했습니다. 해당 주장은 중국 외부의 독립적인 연구자들에 의해 확인되지 않았으며, 어떠한 CVE도 제출되지 않았습니다. 이는 DeepSeek의 텔레메트리 연구와는 달리, 발견된 사실이 아닌 주장 단계입니다.

Help Net Security: 미국 소프트웨어 내 중국 AI 코딩 모델을 둘러싼 보안 문제

중국, Claude Code에서 "백도어" 보안 위험 주장, Anthropic 대응
한 중국 사이버 보안 플랫폼이 Anthropic의 Claude Code에서 "백도어" 보안 문제를 발견했다고 주장했습니다.
www.securitymagazine.com

DeepSeek의 보안 문제 및 취약점에 대해 알아야 할 사항 - SecurityScorecard

DeepSeek는 기업용 애플리케이션 분야에서 상당한 활용 가치를 지닌 강력한 AI 모델입니다. 하지만 동시에 보안 리스크를 유발하기도 합니다…
securityscorecard.com