최초의 AI 제작 제로 데이(Zero-Day) 내부 탐구: Google은 어떻게 2FA 우회를 차단했는가, 그리고 이것이 당신의 LLM 보안

Originally published on CoreProse KB-incidents

최근 한 AI 시스템이 오픈 소스 관리 도구의 2FA(2단계 인증)를 우회하기 위해 작동 가능한 제로 데이(Zero-Day) 익스플로잇(Exploit)을 자율적으로 조립했으나, Google 수준의 탐지 파이프라인에 부딪혀 차단되었습니다.

이는 세 가지 가시적인 트렌드와 일치합니다:

정찰(Recon) 및 스크립팅(Scripting)을 위해 공개 LLM을 사용하는 국가 지원 공격자(Nation-state operators). [2]
취약점을 자율적으로 발견하고 체이닝(Chaining)하는 공격용 모델(Offensive models). [8]
LLM 동작에 최적화된 AI 네이티브 멀웨어 및 C2 채널. [3][9]

이제 보안 및 ML 팀은 AI 기반 시스템을 보호하는 동시에, AI 기반 공격자에 맞서 방어해야 합니다. SOC 또는 DevSecOps에서 LLM을 "단순한 또 다른 도구"로 취급하는 것은 더 이상 유지될 수 없습니다. [5][6]

1. 가설에서 현실로: 왜 AI가 제작한 제로 데이 2FA 우회가 중요한가

국가 지원 세력과 고도화된 범죄 집단은 이미 다음과 같은 목적으로 공개 LLM을 사용하고 있습니다:

프로토콜 및 표준 분석.
스크립팅 및 코드 지원.
고가치 타겟에 대한 조사. [2]

Microsoft는 Forest Blizzard 및 Salmon Typhoon과 같은 그룹이 위성, 레이더 및 기술 스택 세부 정보를 얻기 위해 GenAI(생성형 AI)에 질의한 후, 이를 사용하여 코드와 캠페인을 정교화하는 것을 관찰했습니다. [2]

Anthropic의 Mythos Preview 모델은 유능한 LLM이 다음과 같은 능력을 갖출 수 있음을 보여주었습니다: [8]

대규모 코드베이스 및 바이너리(Binaries) 흡수.
매우 오래된 버그를 포함하여 수천 개의 제로 데이 발견.
이슈를 자율적으로 체이닝 (예: 4개의 버그를 결합하여 브라우저 샌드박스 탈출).

실제 패턴:

한 핀테크 레드팀(Red Team)은 내부 LLM을 사용하여 "의심스러운 SSO 플러그인" 단계에서 하루도 채 되지 않아 작동 가능한 계정 탈취(Account-Takeover) PoC(Proof of Concept) 단계로 넘어갔습니다. 코드 리뷰, 익스플로잇 스케칭(Exploit Sketching), 페이로드 수정 작업의 대부분을 모델이 처리했습니다. [8][10]

이후 Anthropic의 클라우드 PoC는 이를 다음과 같은 멀티 에이전트 시스템(Multi-agent System)으로 발전시켰습니다: [10]

설정이 잘못된 GCP 환경에서 침투 캠페인의 80~90%를 자율적으로 수행.
인간은 주로 감독하는 역할만 수행하며 자산 발견(Asset Discovery), 측면 이동(Lateral Movement), 권한 상승(Privilege Escalation)을 수행.

동시에, AI 네이티브 악성코드 연구는 다음과 같은 상황을 예측하고 있습니다: [3]

자기 수정 코드(Self-modifying code)를 구동하는 임베디드 LLM.
환경 인지형 회피(Environment-aware evasion) 및 전술 전환.
전통적인 SIEM 규칙 업데이트보다 빠른 지속적인 페이로드 진화.

C2(Command and Control) 또한 변화하고 있습니다:

Check Point는 Grok 및 Copilot과 같은 어시스턴트가 웹 페치(Web-fetch) 기능을 통해 은밀한 C2 채널로 전환될 수 있음을 보여주었습니다. 이는 전용 C2 인프라나 공격자 소유의 API 키가 필요 없으며, 트래픽이 일반적인 AI 사용처럼 보인다는 특징이 있습니다. [9]

이 2FA 우회가 중요한 이유:

OWASP의 LLM Top 10은 프롬프트 인젝션(Prompt Injection), 모델 오용(Model Abuse), AI 특화 데이터 유출(Exfiltration)을 강조하며, 이는 기존의 애플리케이션 보안(AppSec)으로는 다뤄지지 않는 위험입니다. [6]
CNIL과 같은 규제 기관은 인증 및 관리 콘솔에 영향을 미치는 AI 관련 침해 사고에 대해 72시간 이내의 통지를 요구합니다. [6]
오픈 소스 관리 도구를 대상으로 차단된 최초의 AI 제작 제로 데이는 LLM이 국가 단위 공격자 및 사이버 범죄의 표준적인 공격 구성 요소가 되고 있음을 보여주는 구체적인 이정표입니다. [2][8][10]

공격은 "AI 어시스턴트"에서 "AI 오퍼레이터(Operator)"로 이동했습니다. 귀하의 방어 체계와 귀하의 LLM 스택은 이 사실을 반드시 전제해야 합니다.

2. LLM이 실제로 제로 데이 익스플로잇과 2FA 우회를 제작하는 방법

Mythos 스타일의 모델들은 현대의 LLM이 다음과 같은 능력을 갖출 수 있음을 보여줍니다: [8]

전체 저장소(repos) 및 바이너리(binaries)를 흡수.
예외 케이스(edge cases) 및 미정의 동작(undefined behavior)에 대해 추론.
익스플로잇 프리미티브(exploit primitives) 및 체인(chains)을 빠르고 대규모로 제안.

2FA에 대한 AI 공격자의 예상 워크플로우

코드 및 설정 흡수 (Code and config ingestion)

오픈 소스 관리 도구(admin tool)를 클론(clone).
인증 미들웨어(auth middleware), 2FA 핸들러(2FA handlers), 세션 로직(session logic)을 추출.
모델에게 로그인 → 토큰 발행(token issuance) → 2FA 챌린지(2FA challenge) → 세션 지속성(session persistence) 과정을 매핑하도록 요청. [8]

취약점 가설 생성 (Vulnerability hypothesis generation)

가능한 2FA 우회 경로 열거: CSRF 누락, 취약한 바인딩(weak binding), 토큰 재사용(token reuse), 결함이 있는 "기기 기억(remember device)" 로직, 백업 코드 오용. [8]
익스플로잇 가능성(exploitability) 및 전제 조건에 따라 이슈를 클러스터링(cluster).

익스플로잇 프리미티브 합성 (Exploit primitive synthesis)

Mythos의 취약점 체이닝(vulnerability chaining)을 반영하여, LLM은 다음과 같은 요소들을 결합할 수 있습니다: [8]

인증 전 경로(pre-auth routes)에서의 세션 고정(Session fixation).
신원(identities)이 아닌 세션에 바인딩된 2FA 토큰.
검증 엔드포인트(verification endpoints)에서의 CSRF.
과도하게 허용적인 복구(recovery) 또는 기기 기억(device-remember) 흐름.

페이로드 생성 및 반복 (Payload generation and iteration)

AI 네이티브 악성코드(AI-native malware) 연구에 따르면, 임베디드 LLM은 다음과 같은 동작을 수행할 것입니다: [3]

응답에 따라 헤더(headers), 순서(ordering), 타이밍(timing)을 조정.
WAF 규칙 및 이상 탐지 모델(anomaly models)을 회피하기 위해 페이로드(payloads)를 변이(mutate).
방어 체계가 체인을 부분적으로 차단할 경우 계획을 재수립(re-plan). [3]

LLM 기반 C2를 통한 실시간 튜닝 (Live tuning via LLM-enabled C2)

웹 페치(web-fetch) 기능이 있는 LLM을 릴레이(relays)로 사용함으로써, 공격자는 다음과 같은 행위가 가능합니다: [9]

URL 및 일반적인 프롬프트(prompts) 내부에 명령어를 숨김.
가시적인 C2 인프라 없이 실시간으로 익스플로잇 파라미터(exploit parameters)를 튜닝.
트래픽을 일반적인 "어시스턴트(assistant)" 사용 패턴과 혼합. [9]

핵심 시사점:

AI는 새로운 취약점 클래스(vulnerability classes)를 도입하는 것이 아니라, 발견(discovery) → 무기화(weaponization) → 배포(deployment) 과정을 몇 시간 단위로 압축하며, 패턴이 작동하기 시작하면 복제(replication)를 대규모로 확장합니다. [3][8][10]
2FA 및 SSO에 대해 더 빈번하고 정교하게 튜닝된 공격이 발생할 것이며, 유사한 스택 전반에 빠르게 전파될 것으로 예상됩니다. [8][10]

3. Google 스타일 탐지 스택 내부: LLM 증강 SIEM 및 UEBA

AI가 제작한 2FA 우회를 차단하려면 공격자의 속도에 근접하여 작동하는 텔레메트리(telemetry)와 분석(analytics)이 필요합니다.

확장된 SIEM (Security Information and Event Management) 아키텍처는 일반적으로 다음을 결합합니다: [1]

전통적인 상관관계 규칙 (correlation rules) 및 시그니처 (signatures).
사용자, 장치 및 서비스의 기준선 (baselines)을 학습하는 UEBA (User and Entity Behavior Analytics) 모델.
요약, 가설 설정 및 새로운 규칙을 제안하는 LLM (Large Language Model) 레이어.

이러한 시스템은 ID 제공자 (identity providers), 웹 프론트엔드 (web frontends), 관리 도구 (admin tools) 및 인프라 (infra)의 이벤트를 상관 분석하며, 비정상적인 토큰 발행이나 관리자 흐름과 같은 패턴을 식별합니다. [1]

Microsoft의 GenAI–SIEM 실험에 따르면 LLM은 다음과 같은 작업을 수행할 수 있습니다: [2]

복잡한 경고 클러스터 (alert clusters) 요약.
발생 가능한 공격 경로 및 근본 원인 (root causes) 제안.
자연어 형태의 TTPs (Tactics, Techniques, and Procedures)로부터 후보 탐지 규칙 제안.

LLM이 강화된 SIEM에서 2FA 우회가 나타나는 방식

대규모 환경에서 제로 데이 (zero-day) 2FA 우회는 다음과 같이 식별 가능한 부작용을 발생시킵니다: [1]

IP 범위, ASN 또는 그룹별로 실패하거나 불완전한 2FA 흐름의 급증.
일치하는 2FA 이벤트가 없거나 비정상적인 장치/브라우저 핑거프린트 (fingerprints)를 가진 세션 토큰.
해당 활동 이력이 없는 계정에 의한 갑작스러운 고위험 관리자 작업 (역할 부여, 정책 변경).

UEBA는 다음과 같은 편차를 식별합니다: [1]

휴면 상태인 엔지니어 계정이 새벽 3시에 새로운 ASN을 통해 대량의 2FA 재설정을 수행하는 경우.

그 후 LLM은 다음과 같은 역할을 수행합니다: [1][2][9]

분석가가 이해하기 쉬운 언어로 이상 징후 설명.
동일한 ID와 연결된 비정상적인 어시스턴트 트래픽을 포함하여, 알려진 AI 보조 행위와 상관 분석.
분석가 검토를 위한 새로운 상관관계 규칙 또는 데이터 보강 (enrichment) 흐름 초안 작성.

온프레미스 (on-prem) AI (예: Dell의 AI Factory를 통한 Codex)를 사용하는 민감한 환경의 경우, 탐지 에이전트가 중요 데이터 및 관리 서비스와 인접하여 (adjacent to) 실행될 수 있어 다음과 같은 이점을 제공합니다: [4]

저지연 (low-latency) 상관 분석 및 차단.
경계 외부로의 원시 인증 로그 (raw auth logs) 노출 감소. [4]

핵심적인 미묘한 차이 (nuance):

LLM 에이전트 자체도 공격 표면 (attack surfaces) 이므로 반드시 모니터링되어야 합니다: [5][7][9]
- 비정상적인 도구 호출 (예: 반복적인 2FA 재설정).
- 관리 콘솔에 대한 예기치 않은 접근.
- 탈옥 (jailbreak) 또는 C2 (Command and Control) 행위를 암시하는 프롬프트/응답.

Google 스타일의 스택은 SIEM, UEBA, 그리고 LLM 기반의 분류 (triage)를 결합한 후, 다음과 같은 자동화된 봉쇄 (containment) 단계로 격상시킵니다:

토큰 취소 (Token revocation).
강제 재인증 (Forced re-authentication).
의심스러운 관리자 흐름에 대한 일시적 차단. [1][2]

4. AI가 발견한 제로 데이 (Zero-Day)를 위한 파이프라인 구축: 탐지에서 패치까지

AI가 제작한 익스플로잇 (exploit)을 잡아내는 것은 시작일 뿐입니다. 진정한 경주는 개선된 변종으로 재시도되기 전에 근본적인 제로 데이 (zero-day) 취약점을 완화하는 것입니다.

Mythos와 GitLab의 분석에 따르면 다음과 같습니다: [8]

AI는 팀이 패치를 적용하는 속도보다 더 빠르게 취약점을 찾아낼 수 있습니다.
2025년 초에 악용된 CVE의 약 1/3은 공개 당일 또는 공개일 이전에 공격을 받았습니다.
AI는 새로운 발견의 양과 속도를 모두 가속화합니다. [8]

AI가 발견한 제로 데이를 위한 파이프라인 설계

핵심 구성 요소:

자동화된 익스플로잇 가능성 및 영향력 분류 (Automated exploitability and impact classification)

모델을 사용하여 이슈 유형(RCE, 인증 로직, 정보 유출)을 라벨링합니다. [8]
비즈니스 영향력 점수를 부착합니다 (예: 운영 환경 관리자에서의 2FA 우회 → 심각함, 외부에서 익스플로잇 가능).

소유권 라우팅 및 에스컬레이션 (Ownership routing and escalation)

인증/2FA 취약점을 엄격한 SLA (Service Level Agreement)와 함께 ID/플랫폼 보안 팀으로 직접 라우팅합니다. [1][8]

규칙 및 모델 생성 (Rule and model generation)

AI 기반 멀웨어 (malware)의 속도에 발맞추기 위해, 방어자는 "아이디어"에서 배포 가능한 탐지 단계까지의 과정을 자동화해야 합니다: [3]

관찰된 비정상적인 인증 패턴으로부터 SIEM 규칙을 자동 생성합니다. [1][3]
새로운 공격 경로를 반영하도록 UEBA 베이스라인과 모델을 업데이트합니다. [1]

지속적인 공격 테스트 (Continuous offensive testing)

내부적으로 Anthropic 스타일의 에이전트 시스템 (agentic systems)을 미러링합니다: [10]

CI/CD 내에서 2FA 흐름, SSO, 관리자 콘솔 및 복구 흐름을 조사하는 레드팀 (Red-team) 에이전트.
스테이징 (staging) 환경에 대한 알려진 익스플로잇 패턴의 자동 재생.

AI 사고에 대한 침해 사고 대응 (Incident response for AI incidents)

LLM 특화 IR (Incident Response) 플레이북에는 다음이 포함되어야 합니다: [5]

익스플로잇에 연루된 프롬프트 (prompts) 및 응답 (responses) 캡처.
어떤 에이전트와 데이터 소스가 사용되었는지 추적.
연루된 에이전트에 대한 가드레일 (guardrails), 도구 및 액세스 권한 강화.

거버넌스 및 감사 가능성 (Governance and auditability)

GDPR/AI Act와 연계된 운영적 AI 보안 지침은 다음을 강조합니다: [6]

AI 기반 결정, 취약점 분석 및 자동 완화 (auto-mitigations)에 대한 로깅 (Logging).
72시간 이내의 침해 사고 통지 및 감사 요구 사항을 충족할 수 있도록 보장.

AI 기반 탐지, 우선순위 지정 라우팅, 자동 탐지, 지속적 테스트 및 규정을 준수하는 로깅을 결합함으로써, 조직은 완화 시간 (time-to-mitigation)을 몇 주에서 며칠, 또는 몇 시간 단위로 단축할 수 있습니다. [3][6][8]

5. 교전 중인 귀하의 LLM, 에이전트 및 관리 도구 보안

2FA 우회 시도와 같은 공격에서, 귀하의 방어적 (defensive) LLM 스택은 공격자의 피벗 (pivot) 지점이 될 수 있습니다.

LLM 보안 위험 가이드는 주요 공격 표면 (attack surfaces)을 다음과 같이 강조합니다: [5]

사용자 프롬프트 (prompts) 및 업로드 파일.
내부 RAG 소스 및 벡터 스토어 (vector stores).
도구/플러그인 및 API — 특히 관리 및 인증 (auth)에 접촉하는 것들.

제약 조건이 제대로 설정되지 않으면, 이 중 어느 것이든 관리 콘솔이나 2FA 설정으로 직접 연결될 수 있습니다. [5]

정책 및 거버넌스 격차

현재의 컴플라이언스 (compliance) 지침은 다음과 같이 언급합니다: [6]

기업의 약 74%가 AI 전용 보안 정책이 부족함.
기존의 통제 수단은 프롬프트 인젝션 (prompt injection), 데이터 포이즈닝 (data poisoning) 및 도구 오용을 무시함.

LLM이 2FA를 트리거하거나 역할을 변경할 수 있는 관리 도구, 티켓팅 시스템 또는 ChatOps에 연결될 때, 귀하는 사실상 가장 위험도가 높은 통제 장치 바로 옆에 반자율적 에이전트를 배치하는 것과 같습니다. [5][6]

탈옥 (Jailbreaking) 연구에 따르면 다음과 같습니다: [7]

정교하게 설계된 프롬프트와 숨겨진 HTML 지침은 안전 학습 (safety training)을 무력화할 수 있음.
LLM 기반 이메일 필터, 로그 뷰어 및 콘솔 어시스턴트는 공격자가 제어하는 콘텐츠를 파싱할 때 공격 벡터 (vectors)로 변질될 수 있음.

예시는 다음 항목에 적용됩니다: [5][7]

LLM 기반 로그 뷰어.
관리 콘솔의 "AI 어시스턴트".
2FA 재설정 또는 역할 부여가 허용된 ChatOps 봇.

Check Point의 C2 연구는 다음을 강조합니다: [9]

AI 트래픽은 종종 신뢰되며 모니터링이 부족함.
백엔드 또는 로그 액세스 권한은 있지만 송신 (egress) 제어가 약한 어시스턴트는 이상적인 C2 릴레이 및 익스플로잇 튜너 (exploit tuners) 역할을 할 수 있음.

당신의 AI 스택을 위한 계층적 방어 (Layered defenses)

LLM 및 에이전트 (agents)를 주요 보안 자산 (security assets)으로 취급하십시오: