2026년 4월 7일, Anthropic이 「Claude Mythos Preview」를 발표했을 때, 보안 업계가 주목한 것은 성능의 높고 낮음보다 「일반 공개를 하지 않는다」는 판단이었습니다. 이 모델은 주요 OS 및 주요 브라우저의 제로데이 취약성 (Zero-day vulnerability)을 수천 건 자율적으로 발견하고, 동작하는 악용 코드까지 생성할 수 있습니다. 너무나 위험하다는 이유로, Anthropic은 12개의 신뢰할 수 있는 파트너 조직에만 한정 제공하는 Project Glasswing을 출범했습니다[1].

같은 주, 또 다른 수치들이 업계를 흔들고 있었습니다. 1,184건의 악의적인 스킬이 AI 에이전트 프레임워크 (AI agent framework) 마켓플레이스에서 발견되었고, 492개의 MCP 서버가 인증 없이 인터넷에 공개되어 있으며, AI 에이전트를 이용하는 기업의 NHI (Non-Human Identity)는 인간의 아이덴티티보다 25~100배 빠른 속도로 계속해서 증식하고 있습니다[2][3].

동시기에 EU AI Act의 고위험 시스템 의무 사항이 2026년 8월 2일에 시행을 앞두고 있으며 (Omnibus 수정에 의해 일부 조항은 2027년 12월로 연기), IBM Cost of Data Breach Report는 「침해를 받은 조직의 63%가 AI 거버넌스 (AI governance) 정책을 가지고 있지 않았다」고 기록하고 있습니다[4][5].

본 기사는 프론티어 AI가 「공격 측·방어 측·규제 측」이라는 세 가지 전선을 동시에 변화시키고 있는 현실을 정리하고, 보안 엔지니어로서 어떻게 대응해야 하는지를 논합니다.

주의사항: 본 기사에 기재된 내용은 교육 목적의 보안 정보 공유를 목적으로 합니다.

「프론티어 AI (Frontier AI)」란, 현시점에서 인간의 능력을 초월하거나 혹은 필적하는 수준으로 특정 태스크 (Task)를 실행할 수 있는 최첨단 대규모 AI 모델을 가리키는 개념입니다. 이 정의에서 중요한 것은 성능의 절대치보다 「임계치를 넘었다」는 질적 변화에 있습니다.

영국 AI 안전 연구소 (AISI)가 2026년 4월에 실시한 Claude Mythos Preview의 독립 평가에서는, 해당 모델이 전문가 수준의 CTF 과제를 73% 해결하고, 32단계의 모의 기업 네트워크 공격을 엔드 투 엔드 (End-to-end)로 완료한 첫 번째 AI 모델이 되었습니다[1].

이 숫자의 의미는 「AI가 뛰어난 공격 도구가 되었다」는 것이 아닙니다. 보다 본질적인 것은 **「자율적으로 가설을 세우고, 도구를 선택하며, 절차를 연쇄시키는 능력이 임계치를 넘었다」**는 점입니다. 기존의 자동화 스캔 도구와 근본적으로 달리, 프론티어 AI는 「처음 보는 시스템에 대해 전략적으로 생각」할 수 있습니다.

"Claude Mythos Preview crosses a qualitative threshold that prior frontier models could not: where Claude Opus 4.6 achieved a near-zero success rate at autonomous exploit development, Mythos developed 181 working exploits in a specific Firefox engine benchmark."

— Cloud Security Alliance, "Claude Mythos and the AI Autonomous Offensive Threshold" [1]

NIST AI RMF와 NIST CSF의 관계를 생각하면 이 문제의 구조를 알 수 있습니다.

"The NIST AI RMF provides governance structures, not technical controls. It defines what accountability structures should exist and what AI risk categories should be monitored, but it does not provide guidance on how to prevent a prompt injection attack during execution. Teams that consider NIST AI RMF compliance comprehensive will have detailed policies but no actual enforcement during live operations."

— TrueFoundry, "AI Security Frameworks: Enterprise Guide for 2026" [6]

많은 조직이 "NIST CSF를 엔터프라이즈 보안의 베이스라인(Baseline)으로 사용하고, AI RMF를 AI 고유 리스크의 오버레이(Overlay)로 적용한다"는 병행 모델로 대응하고 있습니다 [6]. 하지만 에이전트형 AI가 자율적으로 멀티스텝(Multi-step) 액션을 실행하는 세상에서는, 이 프레임워크의 "전제(AI는 어시스턴트이며 인간이 판단한다)" 자체가 무너지고 있습니다.

BeyondTrust가 2026년 3월에 발표한 데이터에 따르면, 엔터프라이즈에서의 AI 에이전트 NHI(Non-Human Identity: 서비스 계정, API 토큰, OAuth 자격 증명 등)는 전년 대비 466.7% 증가하며 급증하고 있습니다 [3].

"AI는 아이덴티티(Identity)를 고속 시스템으로 변화시킵니다. 모든 새로운 에이전트, 워크플로우 또는 통합은 몇 분 만에 자격 증명과 권한을 생성할 수 있습니다. 너무 많은 조직이 여전히 이를 스프레드시트와 정교하지 못한 프로세스로 관리하고 있습니다. 그것은 AI 전략이 아니라, 인시던트 백로그(Incident backlog)일 뿐입니다."

— Oasis Security CEO, MSSP Alert, "Security Teams, MSSPs Will Wrestle with Agentic AI, Non-Human Identities in 2026" [7]

조사 결과의 수치들이 이 위기의 규모를 보여줍니다.

**78%**의 조직이 AI 아이덴티티의 생성 및 삭제에 관한 공식 정책을 보유하고 있지 않음 [7]
**92%**가 레거시 IAM(Identity and Access Management) 도구로는 NHI 리스크를 관리할 수 없다고 응답 [7]
16% 이상의 조직이 AI 관련 아이덴티티 생성을 추적하지 않음 [8]
**68%**의 조직이 AI 에이전트 활동을 인간의 활동과 신뢰성 있게 구분할 수 없음 [9] - NHI가 인간 ID를 상회하는 비율은 45:1 ~ 100:1 [8]

기존 보안에서는 "네트워크 경계"가 신뢰의 경계였습니다. 하지만 에이전트 AI 시대에는 "아이덴티티(Identity)"가 신뢰의 경계가 되고 있습니다.

"단일 에이전트가 여러 시스템을 연결하고 하나의 스코프(Scope) 오류를 크로스 도메인(Cross-domain) 이벤트로 증폭시킬 수 있습니다. 이는 보안 팀이 에이전트 워크플로우 전반에 걸쳐 신뢰가 어떻게 전파되는지 매핑해야 함을 의미합니다."

— NHIMG, "Agentic AI security in 2026: why current controls fall short" [10]

이를 **"아이덴티티 폭발 반경(Identity Blast Radius)"**이라고 부릅니다. 하나의 에이전트가 여러 시스템에 연결되어, 단 하나의 스코프 설정 오류가 크로스 도메인 인시던트로 확대되는 구조를 말합니다.

기존 신뢰 경계 모델:
[인터넷] ── Firewall ── [내부 네트워크]
신뢰의 경계 = 네트워크 경계
...

Cloud Security Alliance의 NIST AI RMF Agentic Profile은, 기존 RMF 1.0에는 "정의된 운영 경계와 예측 가능한 동작 범위, 대부분의 대화 지점에서의 인간 모니터링을 전제로 설계되었다"는 한계가 있음을 지적하며, 2026년 Q4에 NIST AI Agent Interoperability Profile을 공개할 예정임을 나타내고 있습니다 [11].

이를 기다리지 않고 구현할 수 있는 설계 원칙은 다음과 같습니다.

# ❌ 취약: 과도한 권한을 가진 에이전트
agent = create_agent(
tools=[
...

에이전트 보안 구현 체크리스트:

□ 에이전트 인벤토리(Inventory) 관리
✅ 모든 에이전트에 "소유자(Owner)" 할당 (주인 없는 에이전트 배제)
✅ 목적, 사용 도구, 액세스 대상 문서화
...

Gartner는 2021년에 "2025년까지 45%의 조직이 소프트웨어 공급망 공격을 받을 것"이라고 예측했으나, 실제로는 75%가 1년 이내에 피해를 입어 예측을 크게 상회했습니다 [2]. 이 파도가 AI 에이전트 인프라에 도달하고 있습니다.

2026년에 발생한 주요 인시던트(Incident)를 시계열로 정리합니다.

"패턴이 AI 에이전트 인프라에 도달했습니다. 2026년 2월은 보통 수년에 걸쳐 점진적으로 발견될 내용들을 단 2주 만에 압축하여 보여주었습니다: 오염된 저장소 설정 파일(Repository config files)을 통한 Claude Code RCE, ClawHub 전반에 걸친 1,184개의 악성 스킬(Skills), 그리고 인증 없이 노출된 492개의 MCP 서버."

— Cyber Desserts Blog, "AI Agent Security Risks 2026: MCP, OpenClaw & Supply Chain" [2]

AI 공급망 공격 대상 맵
1. 학습 데이터 계층
├── 훈련 데이터에 대한 포이즈닝 (Poisoning, 백도어 주입)
...

EU AI Act의 Article 11은 하이리스크(High-risk) AI 시스템의 기술 문서 작성을 의무화하고 있으며, 그 핵심 중 하나가 공급망의 문서화입니다. CycloneDX 1.7(2025년 10월 업데이트)은 모델 출처, 학습 데이터, 하이퍼파라미터(Hyperparameter), 추론 의존 관계의 AI/ML-BOM 표현을 지원하는 데파크토 스탠다드(De facto standard)가 되었습니다[12].

# AI-BOM (AI Bill of Materials) 구현 예시 - CycloneDX 형식
{
"bomFormat": "CycloneDX",
...

# 모델 로드 전 무결성 검증
import hashlib
from pathlib import Path
...

"모든 CISO(정보보호최고책임자)는 모델 수용을 위한 유일한 허용 형식으로 SafeTensors를 의무화해야 합니다. pickle 형식의 모든 모델 파일은 잠재적으로 적대적인 실행 코드(Executable code)로 취급해야 합니다. 왜냐하면 그것이 정확히 실행 코드이기 때문입니다."

— CISO Marketplace, "Poisoned at the Source: Training Data Attacks, Model Supply Chain Risks" [4]

섀도 IT(Shadow IT, IT 부서의 승인 없이 사용되는 기술) 문제는 이전부터 존재해 왔으나, 생성형 AI 시대의 "섀도 AI(Shadow AI)"는 질적으로 다릅니다. 직원이 ChatGPT나 Claude.ai에 고객 데이터, 계약서, 미공개 재무 정보를 붙여넣는 것은 방화벽을 거치지 않고 기밀 정보가 외부로 유출되는 경로를 상시 열어두는 상태와 같습니다.

IBM Cost of Data Breach Report 2025는 침해를 입은 조직의 63%가 AI 거버넌스(Governance) 정책을 보유하고 있지 않았다고 기록했습니다[5].

섀도 AI 대응 3계층 모델
1. 가시화 (Shadow AI Discovery)
├── 네트워크 DNS 로그 분석 (*.openai.com, *.anthropic.com, *.gemini.google.com 등으로의 요청)
...

EU AI Act는 단계적으로 시행되고 있으며, 2026년 8월 2일은 중요한 분기점이었습니다 (일부 조항은 Omnibus에 의해 2027년 12월로 연기됨).

출처: EU AI Act 공식 사이트 [13] · Quantamix Solutions [14]

고위험 AI 시스템에 대한 보안 요구사항의 핵심은 Article 15입니다.

"Article 15는 고위험 AI 시스템이 적절한 수준의 사이버 보안 회복탄력성 (Cybersecurity Resilience)을 달성할 수 있도록 설계 및 개발될 것을 요구합니다. Article 15(5)는 방어해야 할 구체적인 공격 유형을 나열합니다: 데이터 포이즈닝 (Data Poisoning), 모델 동작을 겨냥한 적대적 예제 (Adversarial Examples), 기밀성 공격 (Confidentiality Attacks), 그리고 모델 회피 (Model Evasion) 공격입니다."

— Salt Security, "EU AI Act Compliance 2026: What High-risk AI Systems Must Do Now" [15]

해당 조항에서 주목해야 할 점은 "이러한 위협은 모델 출력 수준뿐만 아니라, 액션 계층 (Action Layer) 전체에 대해 내성을 가져야 한다"는 요구사항입니다. 에이전트가 호출하는 API나 MCP 서버도 범위에 포함됩니다 [15].

보안 엔지니어가 AI Act를 읽을 때의 우선순위 조항:

과징금은 최대 €3,000만 또는 전 세계 연간 매출액의 6% (더 높은 금액)이며, Tier 2 위반의 경우에도 €1,500만 또는 연간 매출액의 3%입니다 [15]. 매출액이 €100억인 기업의 경우 위반 금액은 최대 €3억에 달할 수 있습니다.

EU AI Act는 EU 역내에서 AI 시스템을 제공하거나 운영하는 모든 조직에 대해 역외 적용됩니다. 일본 기업이라도 EU 사용자에게 서비스를 제공하고 있다면 적용 대상이 됩니다 [13].

일본 국내에서는 경제산업성·총무성이 OECD AI 원칙에 기반한 가이드라인을 정비하고 있으며, 2024년에 제정된 「AI 사업자 가이드라인」은 NIST AI RMF와의 정합성을 의意识한 구성으로 되어 있습니다. 국제적인 규제의 흐름을 단순히 "EU 대응"으로 축소하지 않고, 일본 AI 거버넌스의 선행 지표로서 해석하는 것이 중요합니다.

지금까지의 논의를 통합하여, 프론티어 AI 시대에 필요한 보안 아키텍처를 정리합니다.

프론티어 AI 시대의 Defense-in-Depth (7계층 모델)
Layer 1: AI System Inventory (가시화)
└── 모든 AI 시스템 · 에이전트 · NHI의 인벤토리 관리
...

"자사의 제품·업무에서 어떤 AI가 사용되고 있는지"를 파악하지 못하고 있는 상태는, 소프트웨어 공급망 관리(Software Supply Chain Management)에서 SBOM이 없었던 2010년대 초반과 동일한 상황입니다.

# 최소한으로 파악해야 할 항목의 인벤토리 예시
cat > ai_inventory.csv << 'EOF'
system_name,purpose,model_provider,model_version,data_access,owner,last_reviewed
...

BeyondTrust의 데이터가 보여주듯, NHI는 급격히 증식합니다. "생성된 에이전트의 소유자(Owner)가 누구인지"를 정의하지 않은 조직은, 퇴사자의 에이전트가 운영 시스템에 계속 접근할 수 있는 리스크를 안게 됩니다.

HuggingFace에서 임의의 모델을 다운로드하여 운영 환경(production environment)에서 사용하는 것은, 검증되지 않은 실행 파일을 운영에 배포하는 것과 같습니다. 체크섬 검증(checksum verification), SafeTensors 강제 적용, 승인 흐름(approval flow) (AI SBOM에 등록된 모델만 사용 가능)을 구현해야 합니다.

자사 AI가 Annex III의 카테고리(채용・신용 평가・교육・핵심 인프라・의료 등)에 해당하는지 평가합니다. 일본 기업이라도 EU 시장을 겨냥한 서비스가 있다면 의무 대상입니다. 분류를 완료하지 못한 조직은 Article 9~17에 대응하기 어려우며, 최대 6%의 제재 위험을 안고 있다고 생각해야 합니다[15]。

SOC 플레이북(playbook)에 AI 고유의 장애 모드(failure mode)를 추가합니다. 'LLM이 잘못된 내용을 출력했다'는 기존 인시던트 프레임워크로 대응할 수 있지만, '에이전트가 권한 밖 시스템에 접근하려 했다', 'RAG 소스가 오염되었다', '멀티 에이전트 파이프라인에서 부정확한 지시가 전파되었다'와 같은 상황에는 새로운 Runbook이 필요합니다.

프론티어 AI 시대가 바꾼 것은 위협의 형태만이 아닙니다. '신뢰의 전제(前提)' 자체가 변하고 있습니다.

기존 보안은 '인증된 사용자・시스템은 신뢰할 수 있다'는 전제에서 'Zero Trust(아무것도 신뢰하지 않음)'로 전환해 왔습니다. 프론티어 AI 시대는 여기에 한 단계 더 나아갑니다—**'인증된 에이전트가 의도한 대로 작동하는지는 항상 검증이 필요하다'**는 전제입니다.

에이전트는 인증 정보를 정상적으로 가지고 있어도, 프롬프트 인젝션(prompt injection)을 통해 공격자의 의도를 실행할 수 있습니다. RAG에서 가져온 정보가 오염되었을 수도 있습니다. 사용 중인 모델이 공급망 공격으로 백도어(backdoor)를 가지고 있을 수도 있습니다.

"Zero Trust for AI means extending existing access controls to AI agents, enforcing that they can only perform actions within their defined boundaries—not just from a technical identity standpoint, but also in terms of what data they can access and what actions they're allowed to take."

— NIST AI RMF Agentic Profile, Cloud Security Alliance [11]

"AI를 도입해서 편리해졌다"는 관점이 아니라 "AI를 도입했기 때문에 새로운 공격 표면(attack surface)이 생겨났다"라는 시각이야말로, 프론티어 AI 시대의 보안 엔지니어에게 요구되는 근본적인 질문 던지는 방식입니다.

[7] MSSP Alert. "보안 팀과 MSSP는 2026년에 에이전트형 AI (Agentic AI) 및 비인간 신원 (Non-Human Identities)과 씨름하게 될 것이다." 2026년 2월 4일.

[8] Cloud Security Alliance. "비인간 신원 거버넌스 (Non-Human Identity Governance)의 공백." 2026년 5월 20일.

[9] NHIMG. "2026년 AI 에이전트 신원 보안: 귀하의 통제 수단이 따라잡고 있는가?" 2026년 6월.

[10] NHIMG. "2026년 에이전트형 AI (Agentic AI) 보안: 현재의 통제 수단이 부족한 이유." 2026년 6월 9일.

[11] Cloud Security Alliance. "NIST AI 리스크 관리 프레임워크 (AI Risk Management Framework): 에이전트 프로필 (Agentic Profile)." 2026년 4월 20일.

[12] GLACIS. "2026 AI 공급망 보안 가이드 — ML-BOM, AI SBOM, 그리고 모델 출처 (Model Provenance)." 2026년 4월 24일.

[13] European Commission. "AI Act (AI 법)." 공식 EU 디지털 전략.

[14] Quantamix Solutions. "EU AI Act 준수 가이드 2025–2027." 2026년 5월 8일 업데이트 (Omnibus 이후).

[15] Salt Security. "2026 EU AI Act 준수: 고위험 AI 시스템이 지금 당장 해야 할 일." 2026년 5월 28일.

[16] CyberSaint. "2026년을 위한 주요 보안, 리스크 및 AI 거버넌스 프레임워크." 2026년.

[17] Security Boulevard. "2026년 7대 AI 보안 리스크." 2026년 7월.

[18] arXiv / UC Berkeley CLTC. "프론티어 AI 리스크 관리를 위한 사이버 보안 프레임워크의 적응: 심층 방어 (Defense-in-depth) 접근 방식." arXiv:2408.07933.

[19] NHIMG. "에이전트형 AI (Agentic AI) 거버넌스는 신원 및 런타임 통제 평면 (Identity and Runtime Control Plane)이다." 2026년 6월 11일.

[20] Cloud Security Alliance AI Safety Initiative. "EU AI Act 고위험 마감일: 기업 준비성 격차." 2026년 3월 13일.