Anthropic의 AI 기반 사이버 위협 보고서가 에이전트 공격 (Agentic Attacks)에 대해 말하는 것

보안 팀들은 보통 사이버 범죄에서의 AI를 피싱 가속기나 스팸을 위한 콘텐츠 생성기로 생각합니다. Anthropic의 최근 보고서인 What we learned mapping a year’s worth of AI-enabled cyber threats는 더 운영적인 측면을 지적합니다. 즉, AI가 특히 공격자가 이미 액세스 권한을 획득한 이후에 다단계 침입 작업을 조정하는 데 점점 더 많이 사용되고 있다는 점입니다.

이 보고서는 단순히 고립된 오용 사례를 설명하는 것이 아니라, 1년 동안의 활동을 매핑하여 AI가 공격 체인 (Attack Chain)의 형태를 어디에서 변화시키는지 보여주기 때문에 읽어볼 가치가 있습니다. 이러한 차이는 중요합니다. 만약 AI가 메시지 초안을 작성하는 데만 도움을 준다면, 기존의 안티 피싱 (Anti-phishing) 통제 수단이 여전히 대부분의 역할을 수행할 것입니다. 하지만 AI가 정찰 (Reconnaissance), 권한 상승 (Privilege Escalation), 측면 이동 (Lateral Movement), 그리고 데이터 유출 (Exfiltration)을 돕는다면, 방어자는 해당 모델을 공격자의 제어 평면 (Control Plane)의 일부로 취급해야 합니다.

Anthropic이 측정한 것

Anthropic은 1년 동안의 AI 기반 사이버 활동을 검토하고 832개의 차단된 계정을 MITRE ATT&CK 프레임워크에 매핑했다고 밝혔습니다. 이러한 프레임워크 설정은 유용한데, MITRE ATT&CK가 공격을 초기 액세스 (Initial Access), 실행 (Execution), 지속성 (Persistence), 탐색 (Discovery), 측면 이동 (Lateral Movement), 데이터 유출 (Exfiltration)과 같은 전술 (Tactics)로 나누기 때문입니다. 다시 말해, 단순히 "AI가 관여했는가?"를 묻는 것이 아니라 "킬 체인 (Kill Chain)의 어느 단계에서 AI가 중요했는가?"를 물을 수 있게 해줍니다.

보고서의 주요 주장은 AI의 사용이 단순한 보조를 넘어 더 자율적인 오케스트레이션 (Orchestration)으로 이동하고 있다는 것입니다. 관찰된 기간의 초기에는 AI 사용의 더 큰 비중이 멀웨어 (Malware) 또는 미끼 (Lure) 생성과 같은 기본적인 준비 작업에 집중되었습니다. 보고서에 따르면 이후에는 중간에서 높은 위험도를 가진 행위자의 비율이 높아졌으며, 이는 공격자들이 텍스트를 생성하는 것 이상의 작업을 수행하기 위해 모델을 다른 자동화 기술과 결합하고 있음을 시사합니다.

그것이 중요한 이유는 사이버 작전(cyber operations)이 단일 작업이 아니기 때문입니다. 인간 운영자는 통상적으로 정찰(reconnaissance), 대상 선정(target selection), 취약점 공격 검증(exploit validation), 자격 증명 처리(credential handling), 그리고 침해 후 조치(post-compromise actions)를 하나로 연결해야 합니다. AI는 이러한 단계들 사이의 마찰을 줄여줍니다.

진정한 변화는 "더 나은 피싱"이 아니다

사이버 범죄에서 생성형 모델(generative models)의 명백한 용도는 언어입니다. 더 믿을 만한 피싱 메시지, 더 정교한 사회 공학(social engineering), 그리고 더 빠른 번역이 그것입니다. 하지만 보고서는 더 흥미로운 변화는 침해 후(post-compromise) 단계에 있다고 주장합니다.

공격자가 일단 시스템 내부에 침투하면, 다음에 무엇을 할지 결정해야 합니다. 이는 종종 로그를 읽고, 파일을 검색하며, 서비스를 열거(enumerating)하고, 권한이 있는 계정을 찾으며, 어떤 호스트로 피벗(pivot)할지 결정하는 것을 의미합니다. 이것들은 반복적이고 부분적으로 구조화된 작업들이며, 모델이 도구(tools)와 결합되었을 때 상당히 잘 처리할 수 있는 작업들입니다.

이것이 공격 보안(offensive security)에서 에이전트 시스템(agentic systems)이 중요한 핵심 이유입니다. 모델이 스스로 머신을 공격(exploit)할 필요는 없습니다. 모델은 단지 운영자가 다음 단계를 결정하고, 적절한 유틸리티를 호출하며, 출력을 파싱(parse)하고, 작업을 계속할 수 있도록 돕기만 하면 됩니다. 모델을 셸(shell), 브라우저, 티켓팅 시스템 또는 클라우드 콘솔에 연결하면, 모델은 오케스트레이션 계층(orchestration layer)이 됩니다.

이것이 Anthropic의 보고서가 일반적인 "AI가 해커를 도왔다"는 이야기보다 더 흥미로운 이유입니다. 보고서는 다단계 침입(multi-stage intrusion)을 실행하는 비용이 낮아지고 있음을 시사하는데, 이는 모든 단계가 마법처럼 자동화되었기 때문이 아니라, 단계 간의 인수인계(handoffs) 비용이 저렴해지고 있기 때문입니다.

MITRE ATT&CK이 여전히 도움이 되는 이유와 한계점

활동을 MITRE ATT&CK에 매핑하는 것은 방어자에게 공통된 어휘를 제공하기 때문에 여전히 좋은 전략입니다. 블루 팀(blue team)은 사고를 비교하고, 반복되는 기술을 식별하며, 통제 항목의 우선순위를 정할 수 있습니다. 하지만 보고서는 한계점 또한 지적합니다. ATT&CK은 기술 중심(technique-centric)인 반면, 에이전트 공격(agentic attacks)은 워크플로 중심(workflow-centric)이라는 점입니다.

워크플로(workflow)는 단순히 개별 기술들의 합 그 이상입니다. 두 명의 공격자가 동일한 30가지 기술을 사용하더라도, 한 명은 이를 수동으로 수행하는 반면 다른 한 명은 AI를 사용하여 최소한의 감독 하에 이 기술들을 체인(chain)처럼 연결하여 사용할 수 있습니다. 이 두 사례는 운영 리스크(operational risk) 측면에서 동일한 수준이 아닙니다.

이것이 방어자들에게 더 어려운 문제입니다. 전통적인 점수 산정 방식은 얼마나 많은 전술(tactics)이 사용되었는지, 또는 공격자가 얼마나 정교해 보이는지에 초점을 맞추는 경향이 있습니다. 에이전트 공격(agentic attacks)은 이러한 직관을 깨뜨립니다. 우수한 모델 접근 권한을 가진 저숙련 공격자가, 느리게 행동하며 더 많은 흔적을 남기는 숙련된 인간보다 더 위험한 사고를 초래할 수 있습니다.

올바른 대응은 ATT&CK를 버리는 것이 아닙니다. 오케스트레이션(orchestration)에 관한 텔레메트리(telemetry)를 통해 이를 보완하는 것입니다. 즉, 도구 호출 패턴(tool-call patterns), 비정상적인 요청 빈도, 내부 시스템의 반복적인 파싱(parsing), 그리고 일반적인 관리자 행동과 일치하지 않는 모델 매개 명령 시퀀스(model-mediated command sequences) 등을 모니터링해야 합니다.

실제 팀을 위한 방어적 시사점

AI가 공격자의 워크플로의 일부가 되고 있다면, 방어자는 워크플로 자체를 탐지해야 합니다.

다음은 몇 가지 실질적인 변화입니다:

• 최종 작업뿐만 아니라 도구 계층(tool layer)을 기록하십시오. 모델이 API, 셸(shell) 또는 내부 서비스를 호출하고 있다면, 이러한 호출은 최종 페이로드(payload)보다 더 많은 정보를 제공하는 경우가 많습니다.
• 폭발적인 결정 루프(bursty decision loops)를 주시하십시오. 인간 운영자는 느리고 간헐적인 세션(bursty sessions) 방식으로 작업하는 경향이 있습니다. 반면 에이전트 시스템은 종종 더 조밀한 반복 주기(iteration cycles)를 생성합니다.
• 탐색(discovery)과 실행(execution)을 분리하십시오. 읽기 전용 정찰(reconnaissance)은 상태를 변경하는 작업과 동일한 권한을 공유해서는 안 됩니다.
• 민감한 전환 단계에 체크포인트를 요구하십시오. 정찰에서 자격 증명(credential) 사용으로 넘어가거나, 열거(enumeration)에서 데이터 유출(exfiltration)로 넘어가는 단계에서는 추가적인 검토 단계를 트리거해야 합니다.
• 모델 접근을 보안 경계(security boundary)로 취급하십시오. 모델이 내부 시스템에 도달할 수 있다면, 해당 접근은 권한이 있는 서비스 계정(privileged service account)에 부여하는 것과 동일한 주의를 기울여야 합니다.

이러한 권장 사항은 원칙적으로 새로운 것이 아닙니다. 이는 기존의 최소 권한 원칙 (least-privilege) 및 세분화 (segmentation) 관행을 반영합니다. 변화된 점은 이제 모델이 루프 (loop) 내부에 위치하여 공격자가 분당 내릴 수 있는 결정의 수를 확장할 수 있다는 것입니다.

Project Glasswing이 중요한 이유

Anthropic의 Expanding Project Glasswing은 이 위협 보고서에 대응하는 방어적 측면의 프로젝트입니다. 이 이니셔티브는 동일한 역량이 더 널리 퍼지기 전에, 신뢰할 수 있는 조직들이 모델 지원 워크플로 (model-assisted workflows)를 사용하여 취약점을 찾고 해결할 수 있도록 돕는 것을 목표로 합니다.

이러한 대칭성은 중요합니다. 만약 모델이 취약점 공격 (exploit) 발견을 도울 수 있다면, 방어자들도 패치 (patching), 분류 (triage), 그리고 검증 (verification)을 위해 유사한 역량에 접근할 수 있어야 합니다. 이 프로젝트의 공개적인 프레임워크는 또한 응용 AI 보안 (applied AI security)의 더 넓은 트렌드를 반영합니다. 즉, 모델의 역량은 더 이상 순수한 제품의 문제가 아닙니다. 그것은 배포 (deployment)의 문제이자, 공개 (disclosure)의 문제이며, 워크플로 (workflow)의 문제입니다.

Anthropic이 처음으로 보고한 AI 주도 사이버 스파이 캠페인에 대한 별도의 보고서 또한 유용한 배경 지식을 제공합니다: Disrupting the first reported AI-orchestrated cyber espionage campaign. 이 보고서는 개별 사고 수준에서 동일한 패턴을 보여줍니다. 모델은 단순한 텍스트 생성기가 아니라, 캠페인의 계획 및 실행 계층 (planning and execution layer)으로서 삽입될 수 있습니다.

기술적 시사점

Anthropic 보고서가 주는 교훈은 AI가 모든 공격을 더 정교하게 만들었다는 것이 아닙니다. AI는 다단계 공격 (multi-step attacks)의 조정 비용 (coordination cost)을 낮춘다는 것입니다. 이는 방어자들이 콘텐츠 모더레이션 (content moderation) 관점에서만 생각하는 것을 멈추고, 운영 텔레메트리 (operational telemetry) 관점에서 생각하기 시작해야 함을 의미합니다.

만약 모델이 공격자가 침입의 한 단계에서 다음 단계로 넘어가는 것을 도울 수 있다면, 가장 유용한 신호는 그 전환(transitions)입니다. 즉, 무엇이 도구 호출(tool call)을 트리거했는지, 어떤 출력이 파싱(parsed)되었는지, 어떤 결정이 내려졌는지, 그리고 다음 단계가 일반적인 인간 운영자의 행동과 일치하는지 여부가 핵심입니다.

이것이 보안 분야에서 AI를 생각하는 더 구체적인 방법입니다. 이는 논의의 초점을 막연한 우려에서 벗어나 측정 가능한 제어 지점(control points)으로 이동시킵니다.

출처

주요 출처: Anthropic — What we learned mapping a year’s worth of AI-enabled cyber threats

보조 출처: Anthropic — Expanding Project Glasswing, Anthropic PDF — Disrupting the first reported AI-orchestrated cyber espionage campaign, ExtraHop analysis of the campaign

태그: 사이버 보안 (cybersecurity), AI, 거대언어모델 (LLM), 머신러닝 (machinelearning)