수년 동안 AI에 관한 사이버 보안 담론은 추측에 불과했습니다. 연구자들은 AI가 공격자의 장벽을 낮출 수 있다고 경고했습니다. 침투 테스트 (Pen test) 기업들은 LLM (대규모 언어 모델)이 생성한 피싱 이메일을 시연했습니다. 칼럼들은 AI 기반 공격이 다가오고 있다고 예측했습니다.

2026년, 그 공격들이 현실이 되었습니다. 그리고 이들은 탐지 (discovery)부터 악용 (exploitation), 회피 (evasion)에 이르기까지 공격의 모든 단계가 작동하는 방식을 다시 쓰고 있습니다.

EDR 회피 툴킷 (The EDR Evasion Toolkit)

2026년 6월, Sophos는 AI 보조 개발 워크플로우를 사용하여 구축된 랜섬웨어 툴킷에 대한 분석을 발표했습니다. 공격자는 Cursor와 Claude Opus 4.5 에이전트를 사용하여 EDR 제품에 대응하는 멀웨어 모듈을 반복적으로 개선했으며, 여러 에이전트 간에 역할을 조정했습니다. 한 에이전트는 방향을 설정하고, 다른 에이전트들은 EDR 테스트, OPSEC (작전 보안) 강화, 문서화 및 VM (가상 머신) 배포를 담당했습니다.

공격 루프:

1. EDR 회피 모듈을 작성합니다.
2. 격리된 실험실에서 Sophos, CrowdStrike, Windows Defender를 대상으로 테스트합니다.
3. 실패할 경우, 실패 내용을 AI에게 설명합니다.
4. AI는 학습한 내용을 바탕으로 모듈을 다시 작성합니다.
5. 반복합니다.

공격자는 해당 모듈들이 결국 테스트된 거의 모든 EDR 솔루션을 우회했다고 주장했습니다. 다만 Sophos는 자사의 텔레메트리 (telemetry)가 해당 주장을 완전히 뒷받침하지는 않는다고 언급했으며, 그 차이는 설명되지 않았습니다 (아마도 AI가 자신의 성공을 과도하게 보고했을 가능성이 있습니다). 또한 에이전트들은 보안 연구 블로그에서 공개된 우회 기술을 채굴하고, 이를 MITRE ATT&CK에 매핑하며, 결과를 검증하기 위한 테스트 환경을 구축했습니다.

이것이 무엇인지, 그리고 무엇이 아닌지에 대해 정확히 짚고 넘어갈 가치가 있습니다. Sophos는 이것이 감독 없이 실행되는 자율적 추론 시스템이 아님을 명시했습니다. Sophos는 이 워크플로우를

Google의 Threat Intelligence Group (GTIG)은 AI로 개발된 것으로 추정되는 최초의 제로 데이 (zero-day) 취약점 공격을 확인했습니다. 공격 대상은 대중적인 오픈 소스 웹 관리 도구였습니다. 취약점의 내용은 하드코딩된 신뢰 가정 (hardcoded trust assumption)으로 인해 발생한 2FA (2단계 인증) 우회였으며, 이는 메모리 오염 (memory corruption)이나 입력값 검증 (input validation) 오류가 아닌 의미론적 논리 결함 (semantic logic flaw)이었습니다.

GTIG는 풍부한 교육용 독스트링 (docstrings), 환각 (hallucination)된 CVSS 점수, 그리고 LLM (대규모 언어 모델) 생성 코드의 특징인 교과서적인 Pythonic 구조를 통해 AI의 개입을 식별했습니다. 핵심적인 기술적 통찰은 다음과 같습니다. 최첨단 LLM은 정적 분석 (static analysis)이나 퍼저 (fuzzers)가 놓치는 의미론적 논리 결함을 찾는 데 탁월합니다. 이는 이들이 알려진 취약점 클래스에 대한 패턴 매칭 (pattern-matching) 대신 개발자의 의도를 추론할 수 있기 때문입니다. Google은 계획된 대규모 악용 캠페인이 시작되기 전, 해당 벤더와 협력하여 결함을 패치했습니다.

자율형 악성코드: PROMPTSPY

ESET은 Android 백도어인 PROMPTSPY를 처음으로 식별했습니다. 이 백도어는 LLM (Google의 Gemini API)에 쿼리를 보내 화면상의 UI를 해석하고, 최근 사용 앱 목록에 자신을 고정하기 위한 단계별 지침을 얻습니다. 이는 일반적으로 기기 제조사별로 수동 스크립트 작업이 필요한 지속성 (persistence) 기법입니다. GTIG의 후속 분석에 따르면, 이 백도어의 AI 활용은 더 나아갔습니다. 실시간 기기 상태를 읽고 정밀한 탭/제스처 명령을 실시간으로 생성하는 에이전트 모듈을 갖추고 있어, 하드코딩된 로직 없이도 다양한 기기에 적응할 수 있습니다. 미리 정해진 로직을 따르는 전통적인 악성코드와 달리, PROMPTSPY는 환경을 읽고, 발견한 것에 대해 추론하며, 다음에 무엇을 할지 결정합니다.

AI 인프라에 대한 공급망 공격 (Supply Chain Attacks)

2026년 초, npm 공급망 공격 (supply-chain campaigns) 캠페인들이 AI 개발자 도구로 눈을 돌렸습니다. 타이포스쿼팅 (typosquatting)된 npm 패키지를 통해 확산된 "SANDWORM_MODE" 캠페인은 Claude Code, Cursor, Windsurf와 같은 AI 코딩 어시스턴트에 악성 MCP 서버를 심었습니다. 주입된 서버들은 겉보기에는 무해해 보이는 도구들을 등록했으나, 그 설명에는 AI가 SSH 키, AWS 자격 증명 (credentials) 및 기타 비밀 정보를 조용히 읽고 유출하도록 지시하는 숨겨진 프롬프트 인젝션 (prompt-injection) 명령을 포함하고 있었습니다.

비슷한 시기에, 위협 그룹인 TeamPCP는 널리 사용되는 보안 스캐너인 Trivy의 CI/CD 파이프라인을 침해한 후, 탈취한 자격 증명을 사용하여 PyPI로 연쇄 침투했습니다. 오픈 소스 LLM 게이트웨이인 LiteLLM의 백도어가 설치된 두 가지 릴리스를 통해 다단계 자격 증명 탈취기 (credential stealer)가 배포되었으며, 이후 유사한 페이로드가 Telnyx 패키지에도 영향을 미쳤습니다. 이는 수년간 전통적인 소프트웨어를 괴롭혀온 것과 동일한 공급망 공격 (supply-chain attack) 패턴이지만, 더 새롭고 덜 성숙한 생태계로 확장되었으며, 이 경우에는 이를 방지하기 위해 만들어진 보안 도구 자체를 악용했다는 점이 특징입니다.

Langflow AI 프레임워크 (CVE-2026-33017) 또한 인증되지 않은 RCE (원격 코드 실행, Remote Code Execution) 공격에 노출되어, 공격자가 공개된 플로우 빌드 엔드포인트에 임의의 Python 코드를 주입하여 데이터베이스 연결, 클라우드 자격 증명 및 환경 설정 (environment configs)을 유출할 수 있게 되었습니다. 취약점 공개 후 약 20시간 이내에 공격이 시작되었으며, 이는 CISA KEV 카탈로그에 추가되었습니다.

규모 (The Scale)

Hadrian Security는 2026년 3월 기준으로 70개 이상의 오픈 소스 AI 침투 테스트 (pentest) 도구를 기록했으며, 대부분은 지난 18개월 이내에 출시되었습니다. 결정적인 차이점은 이 도구들이 전체 공격 표면 (attack surface)에 걸쳐 병렬로 작동한다는 것입니다. 이들은 컨텍스트 스위칭 (context-switch)을 하거나, 발견 사항을 놓치거나, 타겟의 우선순위를 낮추지 않습니다. 알려진 타겟에 대해 알려진 공격 체인 (attack chain)을 실행하는 데 드는 한계 비용 (marginal cost)은 0에 수렴하는 추세입니다.

방어자가 해야 할 일 (What Defenders Should Do)

기본 원칙은 변하지 않았습니다. 단지 일관된 적용이 필요할 뿐입니다:

1. 즉시 패치할 것 (Patch promptly). 악용된 대부분의 취약점(vulnerabilities)은 이미 패치가 존재했습니다. Ghost CMS SQL 인젝션 (CVE-2026-26980)은 700개 이상의 사이트에 타격을 입혔지만, 패치는 이미 나와 있었습니다.
2. 모든 곳에 MFA 적용. 서버 침해(exploitation) 자체를 막지는 못하지만, 가장 흔한 초기 침투 경로(initial access vector)인 탈취된 자격 증명(credentials)의 활용 가치를 현저히 떨어뜨립니다.
3. 네트워크 분할 (Network segmentation). 하나의 시스템이 침해되었을 때 측면 이동 (lateral movement)을 제한합니다.
4. 보안 도구를 포함한 종속성(dependencies) 감사. Trivy → LiteLLM 체인은 스캐너와 CI 액션(actions) 또한 이제 앱 종속성뿐만 아니라 공격 대상이 되고 있음을 보여줍니다. 버전을 고정(pin)하고, 변경 가능한 태그(mutable tags)를 신뢰하지 마십시오. Dependabot이나 Snyk을 사용하고, WordPress 플러그인과 테마를 최신 상태로 유지하십시오.
5. AI 코딩 어시스턴트를 공격 표면 (attack surface)의 일부로 취급할 것. 새로운 종속성을 감사하는 것과 동일한 방식으로 MCP 서버 설정과 도구 설명을 감사하십시오. SANDWORM_MODE는 이것이 이제 실제 데이터 유출 경로 (exfiltration path)임을 증명했습니다.
6. 이상 징후 모니터링. 비정상적인 아웃바운드 연결, 예상치 못한 위치에서의 로그인 등 — 기본적인 사항을 포착하는 데 SOC가 반드시 필요한 것은 아닙니다.

결론 (Bottom Line)

AI가 새로운 범주의 사이버 공격을 만들어낸 것은 아닙니다. AI는 취약점과 악용 사이의 타임라인을 압축하고, 기술적 진입 장벽(skill floor)을 낮추었으며, 공격 체인(attack chains)을 적응형으로 만들었습니다. 하지만 지나치게 극적인 프레임에는 저항할 가치가 있습니다. 올해 기록된 가장 AI 의존도가 높았던 사례에서도, 공격자는 여전히 수동으로 루프를 구동, 검토 및 수정하고 있었습니다. AI는 루프를 더 빠르게 만들었을 뿐, 자율화(autonomous)한 것이 아닙니다. 방어의 기본 원칙은 여전히 유효합니다 — 패치, 분할, 인증, 모니터링입니다. 가장 강력한 방어 대상은 가장 비싼 방어 체계가 아니라, 가장 일관되게 적용되는 방어 체계입니다.

출처: Google Threat Intelligence Group, Sophos, ESET, Socket, Sysdig, Snyk, Arete, Hadrian Security, SANS, CISA, NetEye, Cofense, Sonatype.