AI 보안은 「탐지 로직」에서 「복합 판단」으로──EPP/EDR의 뒤를 잇는 Mythos형 방어 AI

보안 제품의 진화를 보고 있으면, 판단 재료가 조금씩 늘어나고 있음을 알 수 있습니다.

전통적인 안티바이러스(Anti-virus)는 바이러스 정의 파일이나 시그니처(Signature)를 바탕으로 「기존에 알려진 악성 파일」을 찾아냈습니다.

그 후, EPP, EDR, XDR, SIEM, SOAR로 발전하며 단말의 거동, 로그, 통신, ID, 클라우드, 메일 등을 횡단적으로 살펴보게 되었습니다.

그렇다면, Claude Mythos와 같은 고성능 AI가 사이버 영역에 들어오면, 다음에는 어떤 일이 일어날까요?

본고의 가설은 다음과 같습니다.

보안 AI의 다음 진화는 「단일 이벤트의 탐지」가 아니라, 「취약점, 구성, 로그, 업무 영향, 공격 가능성을 복합적으로 판단하는 추론 레이어 (Inference Layer)」가 될 것이다.

즉, 앞으로의 방어 AI는 단순히 「수상한 통신을 찾는 것」만으로는 부족합니다.

「이 취약점은 정말로 지금 바로 수정해야 하는가?」

「이 로그는 단순한 접속 실패인가, 아니면 공격의 전조인가?」

「이 자산은 업무상 얼마나 위험한가?」

까지 판단하는 방향으로 나아갈 것입니다.

먼저, EPP부터 정리하겠습니다.

EPP는 Endpoint Protection Platform의 약자로, PC나 서버 등의 엔드포인트(Endpoint)를 보호하는 소프트웨어 군을 가리킵니다. NIST의 용어집에서는 안티바이러스, 안티스파이웨어, 퍼스널 방화벽, 호스트형 IDS/IPS 등을 포함하여, 엔드 유저 단말을 지키는 소프트웨어적인 보호책으로 설명되어 있습니다1.

전통적인 안티바이러스는 악성 파일의 패턴, 해시(Hash), 시그니처 등을 바탕으로 탐지했습니다. Microsoft Defender Antivirus에서도 보안 인텔리전스(Security Intelligence) 업데이트를 정기적으로 취득하여 최신 멀웨어(Malware)나 공격 수법에 대응하는 메커니즘이 마련되어 있습니다2.

하지만 시그니처 중심의 탐지에는 한계가 있습니다.

NIST SP 800-83에서도 멀웨어가 커스터마이징되면 탐지 대상의 종류가 크게 늘어나, 주로 시그니처 기반의 방어로는 따라잡기 어려워진다는 점이 지적되고 있습니다3.

정리하자면, EPP의 초기적인 발상은 다음과 같습니다.

관점	전형적인 EPP의 발상
주요 대상	단말 위의 파일, 프로세스, 멀웨어
...
물론 현재의 EPP는 단순한 패턴 매칭(Pattern Matching)만은 아닙니다.

행위 탐지(Behavioral Detection), 머신러닝(Machine Learning), 클라우드 평판(Cloud Reputation), 공격 표면 축소(Attack Surface Reduction) 등도 포함되어 있습니다.

그럼에도 원점에 있는 것은 「단말에 들어온 나쁜 것을 막는다」라는 사상입니다.

다음은 EDR입니다.

EDR은 Endpoint Detection and Response의 약자입니다. NIST의 용어집에서는 엔드포인트 상의 수상한 활동을 탐지·조사·대응하기 위한 기술로 정리되어 있습니다4.

EPP가 「침입 전에 막는 것」을 중시하는 것에 반해, EDR은 「침입 후에 무엇이 일어나고 있는가」를 보는 성격이 강해집니다.

Microsoft Defender for Endpoint의 설명에서도, EDR은 고도화된 공격 탐지를 거의 실시간으로 제공하며, 분석가(Analyst)가 경고(Alert)의 우선순위를 정하고, 침해 범위를 파악하며, 대응 조치를 취할 수 있도록 하는 것이라고 설명되어 있습니다5.

EDR에서 중요한 것은 단발적인 이벤트가 아니라, 프로세스 트리(Process Tree)나 시계열적인 흐름입니다.

예를 들어, 다음과 같은 흐름입니다.

메일 첨부 파일을 연다
↓
Office 프로세스가 PowerShell을 실행한다
...

개별 이벤트만 보면 모두가 즉시 악이라고 단정할 수는 없습니다.

PowerShell은 정규 도구입니다. 외부 통신도 업무상 발생합니다. 인증 실패도 드문 일이 아닙니다.

하지만 흐름으로 보면 공격으로 보입니다.

Microsoft Defender for Endpoint의 「Behavioral blocking and containment」에서는 위협이 이미 시작된 경우라도, 거동이나 프로세스 트리에 기반하여 위협을 식별·정지하는 기능이 설명되어 있습니다6.

즉 EDR은 EPP보다 조금 더 상위의 판단을 하고 있습니다.

관점	EPP	EDR
주요 관심	나쁜 파일을 막는다	단말에서 무슨 일이 일어났는지 본다
...
이 시점에서 이미 「로직뿐」이라고 단정 지을 수는 없습니다.

EDR에는 규칙(Rule), 행위 탐지, 머신러닝, 위협 인텔리전스(Threat Intelligence), 분석가의 판단이 겹쳐져 있습니다.

Microsoft의 클라우드 보안 벤치마크에서도, EDR은 시그니처(Signature)의 유무와 관계없이 행위 모니터링과 머신러닝 (Machine Learning)을 통해 악의적인 활동을 식별한다고 설명되어 있습니다7.

이 정도 단계에 오면, 현재의 EDR이나 XDR은 상당히 고도화된 것처럼 보입니다.

실제로, 고도화되어 있습니다.

XDR, SIEM, SOAR, UEBA, CNAPP, CSPM 등은 이미 여러 로그와 이벤트를 묶어서 판단하고 있습니다.

예를 들어, 다음과 같은 정보를 조합합니다.

데이터 소스	관찰 대상
EDR	단말의 프로세스, 파일, 통신, 레지스트리
...

이 정도 단계에 오면, 상당히 「복합 판단」에 가까워져 있습니다.

하지만 현장에서는 아직 한계가 있습니다.

예를 들어, 어떤 서버에 중대한 CVE (Common Vulnerabilities and Exposures)가 있다고 가정해 봅시다.

하지만 정말로 위험한지 여부는 CVE의 심각도만으로는 결정되지 않습니다.

• 외부로 공개되어 있는가
• 인증 없이 도달 가능한가
• WAF (Web Application Firewall)로 방어할 수 있는가
• 공격 코드가 공개되어 있는가
• 대상 버전이 정말로 해당되는가
• 해당 서버에 중요 데이터가 있는가
• 침해되었을 경우 횡적 이동 (Lateral Movement)이 가능한가
• 패치 적용에 따른 업무 영향이 어느 정도인가

이것들을 종합하지 않으면, 진정한 우선순위는 나오지 않습니다.

EDR이나 SIEM의 규칙 (Rule)은 과거의 공격 수법, 기지의 TTP (Tactics, Techniques, and Procedures), 기지의 IOC (Indicators of Compromise)를 바탕으로 만들어지는 경우가 많습니다.

물론, 미지의 공격에도 대응하기 위한 행위 탐지나 머신러닝 (Machine Learning)도 있습니다.

그럼에도 많은 경우, "이러한 거동은 수상하다"라는 관측 가능한 현상에 의존합니다.

공격자가 정상적인 도구를 사용하고, 조금씩 권한을 넓히며, 로그에 남기 어려운 경로를 사용하면 판단이 어려워집니다.

보안 제품은 기술적으로 많은 정보를 가지고 있습니다.

하지만 다음과 같은 업무 문맥 (Context)까지는 제품 단독으로 가지고 있지 않은 경우가 많습니다.

• 이 서버는 결산 처리에 사용한다
• 이 API는 거래처에 공개되어 있다
• 이 배치 (Batch) 작업은 월말에만 멈출 수 없다
• 이 부서의 단말은 특권 ID를 다룬다
• 이 시스템은 감사 대상이다
• 이 단말의 사용자는 정보시스템 관리자이다

기술적인 리스크와 업무상의 중요성이 연결되지 않으면 판단은 흔들립니다.

즉, 현재의 보안 기반은 「증거를 수집하는」 능력은 높아졌습니다.

반면, 「증거를 어떻게 해석하고, 어떤 순서로 대처할 것인가」는 여전히 인간에게 강하게 의존하고 있습니다.

여기서 Claude Mythos와 같은 AI가 등장합니다.

Anthropic은 Project Glasswing을 통해, Claude Mythos Preview를 중요 소프트웨어의 방어 목적으로 한정하여 제공하고 있습니다. 공식 자료에 따르면, Claude Mythos Preview는 미공개 프론티어 모델 (Frontier Model)이며, 소프트웨어 취약점의 발견 및 악용 가능성 검증에 있어 매우 높은 능력을 보여주었다고 설명되어 있습니다8.

또한, Anthropic의 Frontier Red Team은 Claude Mythos Preview가 주요 OS나 브라우저 등에서 제로데이 (Zero-day) 취약점을 발견하고 악용할 수 있는 능력을 보여주었다고 설명합니다. 다만, 일반 제공은 하지 않고 방어 목적으로 한정한 Project Glasswing으로 취급하고 있습니다9.

OpenAI도 같은 방향의 노력을 기울이고 있습니다. Trusted Access for Cyber에서는 본인 확인 및 조직 확인을 바탕으로, 확인된 방어자에게 GPT-5.5의 사이버 능력을 더욱 유용하게 만드는 메커니즘을 설명하고 있습니다10.

여기서 중요한 것은, AI가 단순히 「로그를 요약하는」 것에 그치지 않는다는 점입니다.

Mythos형 AI가 진정으로 힘을 발휘하는 것은 다음과 같은 판단입니다.

이 코드에는 취약점이 있다
↓
이 취약점은 현실에서 악용될 가능성이 있다
...

이것은 기존의 단순한 취약점 스캔과는 다릅니다.

CVSS (Common Vulnerability Scoring System)가 높으니까 위험하다는 이야기가 아닙니다.

로그에 찍혔으니까 위험하다는 이야기도 아닙니다.

방화벽에서 거부되었으니까 안전하다는 이야기도 아닙니다.

코드, 구성, 경로, 로그, 공격 가능성, 업무 영향을 모두 합쳐서 판단한다는 뜻입니다.

저는 이 레이어를 가칭 「Cyber Risk Reasoning Layer」라고 부르고 싶습니다.

[자산 정보]
서버, 단말, 클라우드, API, 업무 중요도
↓
...

이 구조가 되면, AI는 단순한 챗봇이 아닙니다.

SOC, CSIRT, 취약점 관리, IT 운영, 개발, 경영 판단 사이를 이어주는 「판단 보조 엔진」이 됩니다.

여기서 냉정하게 짚고 넘어가야 할 점은, 이것이 「전혀 새로운 이야기는 아니다」라는 점입니다.

이미 유사한 제품이나 개념은 존재합니다.

Microsoft Security Copilot는 Microsoft Sentinel의 보안 데이터를 사용하여 인시던트 분석(Incident Analysis)이나 헌팅 쿼리(Hunting Query) 생성을 지원한다고 설명되어 있습니다11. Microsoft Defender XDR, Sentinel, Security Copilot의 조합은 이미 AI를 사용한 보안 운영 지원에 상당히 근접한 영역입니다.

기존의 XDR이나 SIEM도 여러 이벤트를 상관 분석(Correlation Analysis)합니다.

취약점 관리(Vulnerability Management) 제품도 CVSS뿐만 아니라 자산 중요도나 악용 상황을 가미하는 방향으로 나아가고 있습니다.

CNAPP나 CSPM도 클라우드 설정, 권한, 취약점, 공개 범위를 통합적으로 살펴봅니다.

따라서 「AI가 복합적으로 판단하는 보안 시스템」은 이미 일부 등장해 있습니다.

하지만, 아직 비어 있는 영역이 있습니다.

그것은 바로, 기술 로그, 소스 코드, 취약점, 네트워크 도달성(Network Reachability), 업무 영향을 하나의 설명 가능한 판단으로 통합하는 영역입니다.

영역	현재의 주요 제품	여전히 부족하기 쉬운 부분
EPP	단말 보호	업무 영향까지는 보지 않음
...

이 공백을 채우는 것이 Mythos형 복합 판단 AI라고 생각합니다.

다만, 여기에는 큰 리스크도 존재합니다.

AI가 「이 취약점은 위험합니다」라고 말했을 때, 그 근거를 인간이 검증할 수 있어야 합니다.

AI가 「지금 즉시 차단해야 합니다」라고 말했을 때, 그 업무 영향을 확인할 수 있어야 합니다.

AI가 「악용 가능합니다」라고 말했을 때, 그 설명 자체가 공격 절차(Attack Procedure) 그 자체가 되어버릴 위험도 있습니다.

즉, Mythos형 AI는 강력하지만, 그대로 자동 실행시키기에는 위험합니다.

필요한 것은 다음과 같은 설계입니다.

설계 요소	내용
근거 제시	어떤 로그, 어떤 코드, 어떤 설정을 근거로 했는지 표시
...

이러한 부분을 구현할 수 있는 기업이나 벤더에게는 상당히 큰 기회가 있을 것입니다.

EPP는 알려진 악성 파일을 차단하는 것에서 시작되었습니다.

EDR은 단말 위에서 어떤 일이 일어났는지를 시계열로 보게 되었습니다.

XDR이나 SIEM은 여러 로그와 이벤트를 횡단하여 상관 분석을 하게 되었습니다.

그리고 다음은, 한 단계 더 높은 레이어로 나아갈 것이라고 생각합니다.

보안 AI는 탐지 로직(Detection Logic)에서 복합 판단으로 진화합니다.

그 복합 판단이란, 단순히 「알람(Alert)을 통합하는 것」이 아닙니다.

• 이 취약점은 정말로 악용 가능한가
• 이 시스템은 외부에서 도달 가능한가
• 이 로그는 공격의 전조인가
• 이 자산은 업무상 얼마나 중요한가
• 지금 즉시 차단해야 하는가
• 패치를 적용해야 하는가
• 모니터링 강화로 일시적으로 버틸 수 있는가
• 경영진에 보고해야 할 수준인가

이러한 판단을 AI가 근거와 함께 지원하는 세상입니다.

Claude Mythos나 OpenAI의 Trusted Access for Cyber는 그 입구처럼 보입니다.

다만, 완전 자동화에 무작정 뛰어들어서는 안 됩니다.

오히려 중요한 것은 AI에게 판단하게 하는 것이 아니라, AI의 판단을 인간이 검증할 수 있는 형태로 만드는 것입니다.

다음에 기업이 고민해야 할 것은 단순히 「어떤 EDR을 도입할 것인가」가 아닙니다.

자사의 보안 판단에 필요한 데이터가 AI가 읽을 수 있는 형태로 연결되어 있는가.

이것이 다음 논점이 됩니다.

EPP, EDR, XDR, SIEM, 취약점 관리, 자산 관리, 업무 대장.

각각이 파편화되어 존재하는 것만으로는 Mythos형 AI의 가치를 낼 수 없습니다.

AI가 강력해질수록, 조직 측에는 「판단 재료를 정비하는 능력」이 요구됩니다.

보안의 다음 승부처는 AI 모델의 똑똑함만이 아닙니다.

AI가 복합 판단을 할 수 있을 만큼의 문맥(Context)을 조직이 보유하고 있는가입니다.

NIST CSRC 「Endpoint Protection Platform」 — EPP 정의의 근거 ↩

Microsoft Learn 「Microsoft Defender Antivirus security intelligence and product updates」 — Defender Antivirus의 보안 인텔리전스 업데이트 근거 ↩

NIST SP 800-83 Rev.1 「Guide to Malware Incident Prevention and Handling for Desktops and Laptops」 — 시그니처 기반 방어의 한계에 관한 근거 ↩

NIST CSRC 「Endpoint Detection and Response」 — EDR 정의의 근거 ↩

Microsoft Learn 「Overview of endpoint detection and response capabilities」 — Defender for Endpoint의 EDR 기능에 관한 근거 ↩

Microsoft Learn 「Behavioral blocking and containment」 — 동작(Behavior) 및 프로세스 트리(Process Tree) 기반의 탐지 및 봉쇄에 관한 근거 ↩

Microsoft Learn 「Microsoft cloud security benchmark v2 - Endpoint Security」 — EDR의 행위 모니터링(Behavioral Monitoring) 및 머신러닝 (ML)에 관한 근거 ↩

Anthropic 「Project Glasswing: Securing critical software for the AI era」 — Claude Mythos Preview와 Project Glasswing의 개요에 관한 근거 ↩

Anthropic Frontier Red Team 「Assessing Claude Mythos Preview’s cybersecurity capabilities」 — Claude Mythos Preview의 사이버 보안 능력 평가에 관한 근거 ↩

OpenAI 「Scaling Trusted Access for Cyber with GPT-5.5 and GPT-5.5-Cyber」 — Trusted Access for Cyber 및 GPT-5.5-Cyber에 관한 근거 ↩

Microsoft Learn 「Security Copilot with Microsoft Sentinel」 — Sentinel과 Security Copilot을 통한 인시던트 분석 및 헌팅(Hunting) 지원에 관한 근거 ↩