🐹🦜 이 글에 등장하는 두 마리

• 🐹
  모찌(햄스터)… AI는 아직 공부 중. "그게 무슨 뜻이야?"라고 순수하게 질문하는 학생 역할
• 🦜
  키나코(잉꼬)… AI로 조사를 수행하는 해설 역할. 친절하고 깊이 있게 가르쳐 주는 선생님 역할

이 글은 두 마리의 대화를 받아 적은 형식입니다. 발언 앞머리에 있는 이모지+이름이 화자입니다.

🐹 모찌「있잖아 키나코, 들어봐. 최근 주인 PC가 뭔가 이상한 짓을 하는 것 같지 않아?」

🦜 키나코「이상한 짓이라니, 무슨 뜻이야?」

🐹 모찌「주인이 AI 코딩 툴을 사용하고 있었는데, 갑자기 본 적 없는 파일이 늘어난 것 같대.」

🐹 모찌「한밤중에 PC 앞에서 주인이 엄청 당황해하고 있었어. 왜 멋대로 움직이는 거냐면서.」

🦜 키나코「그거, 어쩌면 AI 툴을 노린 공격에 휘말린 것일지도 몰라.」

🐹 모찌「에, AI 툴이 공격당한다고? 바이러스 같은 거랑은 다른 거야?」

🦜 키나코「기존의 바이러스와는 메커니즘이 완전히 다른, AI 특유의 새로운 공격이 나오고 있어.」

🦜 키나코「정리된 공격 수법만 해도 80종류. Copilot이나 Cursor도 표적이 되고 있어.」

🐹 모찌「80종류!? 그거 진짜 무섭잖아! 주인님 괜찮은 거야?」

🦜 키나코「그렇기 때문에 알고 있는 것이 중요해. 오늘은 제대로 깊이 파고들어 보자.」

🦜 키나코「오늘의 테마는, AI 에이전트(AI Agent)에 대한 공격과 방어.」

🐹 모찌「모두가 사용하는 AI 툴이 어떻게 노려지고 어떻게 지켜지는지, 함께 살펴보자!」

🐹 모찌「자, 그럼 여기서부터 오늘 본론으로 들어가 보자.」

🦜 키나코「AI 에이전트는 최근 1년 사이에 정말 급속도로 보급되었지.」

🐹 모찌「코드를 작성하거나, 메일을 보내거나, 인터넷으로 조사하거나.」

🐹 모찌「인간 대신 여러 가지 작업을 수행해 주니까 말이야.」

🦜 키나코「하지만 말이야, 에이전트가 자율적으로 행동하게 되었기 때문에 새로운 공격 표면(Attack Surface)이 생겨버린 거야.」

🐹 모찌「공격 표면? 즉, 노려지는 포인트가 늘어났다는 뜻이야?」

🦜 키나코「맞아. 기존의 채팅 AI는 질문에 대답만 했지만, 에이전트는 외부 툴을 호출하여 실제로 행동하잖아?」

🦜 키나코「행동하는 힘을 가졌기 때문에, 그 힘 자체가 해커에게 악용될 위험이 생긴 거야.」

🐹 모찌「편리해진 만큼 리스크도 늘어난 거구나. 그런 상황에서 엄청난 자료가 나왔다며.」

🦜 키나코「CORe 주식회사네. 2026년 3월에 「AI 에이전트 공격 수법과 대책 목록」을 무료로 공개했어.」

🐹 모찌「164페이지라니, 엄청 두껍잖아! 게다가 무료라고? 정말 통이 크네!」

🦜 키나코「80종류나 되는 공격 수법을 7개의 카테고리로 깔끔하게 정리해 두었어.」

🐹 모찌「80종류를 7개 카테고리로! 어떤 분류야?」

🦜 키나코「프롬프트 인젝션 (Prompt Injection), MCP 서버 공격, 메모리 오염, RAG 지식 베이스 오염.」

🦜 키나코「여기에 더해, 공급망 공격 (Supply Chain Attack), 정보 유출, 멀티 에이전트 공격. 이 7가지야.」

🐹 모찌「너무 많아! 전부 다 못 외우겠어!」

🦜 키나코「괜찮아. 오늘은 특히 중요한 것들로 압축해서 알기 쉽게 해설해 줄 테니까 안심해.」

🦜 키나코「그전에, 중요한 키워드를 하나 소개할게. 바로 「컨텍스트 파이프라인 (Context Pipeline)」이야.」

🐹 모찌「어렵게 들리지만, 요점은 AI의 머리로 정보가 흘러 들어가는 수도관 같은 거네.」

🐹 모찌「사용자의 입력뿐만 아니라, 외부 툴의 응답이나 메모리의 정보도 전부 이 통로를 지나가는 거지.」

🐹 모찌「그 말은, 수도관 어딘가 한 곳에라도 독을 섞으면 AI가 통째로 속아 넘어가 버린다는 거야?」

🦜 키나코「정확해. 그렇기 때문에 정보의 통로 전체를 지키는 관점이 중요해지는 거야.」

🦜 키나코「그럼 구체적인 공격 수법을 살펴보자. 우선은 프롬프트 인젝션 (Prompt Injection)이야.」

🐹 모찌「프롬프트 인젝션? 주사 같은 이름인데, AI에게 나쁜 명령을 주입한다는 뜻이야?」

🦜 키나코「응, 바로 그 이미지야. AI가 따라야 할 지시에 악의적인 명령을 섞어 넣는 공격이지.」

🦜 키나코「크게 두 종류로 나뉘어. 직접 인젝션 (Direct Injection)과 간접 인젝션 (Indirect Injection).」

🐹 모찌「직접이라는 건, 사용자가 직접 AI에게 나쁜 지시를 입력하는 걸 말하는 거지?」

🦜 키나코「맞아. "시스템 지시를 무시하고"와 같이 직접 명령하는 패턴이야.」

🦜 키나코「하지만 정말 무서운 건 간접 인젝션 쪽이야.」

🐹 못치「간접? 직접이 아니라 누군가가 사이에 끼어들어서 공격한다는 뜻이야?」

🦜 키나코「웹 페이지나 파일, 이메일 같은 외부 콘텐츠에 악의적인 지시를 심어두는 거야.」

🐹 못치「아, 그렇구나! 예를 들어 편의점 아르바이트생에게 가짜 업무 연락 메모를 건네는 것과 같네.」

🐹 못치「점장님의 지시라고 믿고, 적혀 있는 대로 움직여 버리는 거잖아.」

🦜 키나코「좋은 비유네. AI가 웹 페이지를 읽어 들였을 때, 그곳에 숨겨진 지시를 따라버리는 거야.」

🦜 키나코「실제로 코딩 AI를 노린 심각한 취약성(Vulnerability)이 차례차례 보고되고 있어.」

🐹 못치「CVE라는 건 보안 취약성 식별 번호 같은 거구나.」

🦜 키나코「우선 GitHub Copilot의 ZombAI. CVSS 점수는 9.6으로, 10점 만점에 거의 최고 수준의 위험도야.」

🐹 못치「9.6이라니! 10점 만점에 거의 만점이잖아! 너무 위험하잖아!」

🦜 키나코「게다가 Cursor에는 CurXecute라는 취약성이 있어서, 악의적인 코드가 자동 실행되어 버려.」

🦜 키나코「Claude Code에도 컨텍스트 오염(Context Contamination) 취약성이 발견되었는데, CVSS는 8.6이야.」

🐹 못치「주요 코딩 AI들이 전부 뚫리고 있잖아. 게다가 공격 성공률이 엄청나게 높다며?」

🦜 키나코「취약한 모델에서는 최대 97%가 시스템 프롬프트(System Prompt)를 무시했다는 보고도 있어.」

🦜 키나코「3사 공동 연구에서도 90% 이상의 바이패스(Bypass)가 확인되었지.」

🦜 키나코「자, 그럼 이제부터 MCP 서버를 노린 공격에 대해 알아봅시다.」

🐹 못치「MCP? 또 새로운 약어다. 그게 뭐야?」

🦜 키나코「Model Context Protocol의 약어야. Anthropic이 2024년 11월에 발표한 규격이지.」

🐹 못치「AI에게 파일 조작이나 웹 검색을 시키기 위한 공통 플러그인 규격이라는 거네.」

🦜 키나코「JSON-RPC 2.0 기반으로, Claude Desktop이나 ChatGPT, Cursor 등 주요 도구들이 대응하고 있어.」

🦜 키나코「이 MCP는 발표 이후 엄청난 기세로 확산되었어. 2025년 1월에 714개였던 서버가 16,000개 이상으로 급증했거든.」

🐹 못치「714개에서 16,000개?! 엄청 늘었잖아!」

🦜 키나코「하지만 급격한 확대 뒤에는 심각한 문제가 숨어 있어.」

🦜 키나코「AgentSeal이 1,808개의 서버를 스캔한 결과, 66%에서 보안상의 문제가 발견되었어.」

🐹 못치「66%?! 3분의 2가 문제라는 거잖아!」

🦜 키나코「게다가 38%는 MCP 프로토콜 레벨에서 인증(Authentication)조차 구현되어 있지 않았어.」

🐹 못치「현관 열쇠를 가진 업자가 급증했는데, 절반 이상은 신원 확인도 안 된다는 거네. 무서운 이야기다.」

🦜 키나코「다음으로 구체적인 공격 수법을 살펴봅시다.」

🦜 키나코「먼저 툴 포이즈닝 공격(Tool Poisoning Attack). Invariant Labs가 2025년 4월에 문서화한 수법이야.」

🦜 키나코「MCP 도구의 description 필드에 악의적인 숨겨진 명령을 심어두는 공격이지.」

🐹 못치「게다가 이거, 독이 든 도구를 호출할 필요조차 없다는 거지?」

🦜 키나코「맞아, 설명문이 AI의 컨텍스트에 들어가는 것만으로 공격이 성립돼.」

🐹 못치「문 설명서에 '암호를 알려주세요'라고 적혀 있는 것과 같네. 읽는 것만으로도 위험해.」

🦜 키나코「또 하나 무서운 게 러그 풀(Rug Pull) 공격이야. 사용자가 승인한 후에 서버 측에서 코드를 바꿔치기하는 거지.」

🐹 못치「2025년 9월의 Postmark MCP 사건에서는 삭제되기 전에 1,643번이나 다운로드되었다며. 너무 무섭다.」

🦜 키나코「다음은 RAG 시스템을 노린 공격에 대해 알아봅시다.」

🐹 못치「RAG는 AI가 외부 지식을 검색해서 답변하는 구조지?」

🦜 키나코「맞아. 사용자의 질문을 벡터 검색(Vector Search)하여 관련 문서를 LLM에 전달하고 답변을 생성하는 방식이야.」

🐹 못치「사내 문서나 매뉴얼을 읽혀서 그걸 바탕으로 AI가 답변해 주는 거 말이지?」

🦜 키나코「기업 도입이 점점 진행되고 있는 RAG지만, 사실 중대한 약점이 있어.」

🦜 키나코「OWASP LLM Top 10 2025년 버전에서 LLM08로 새롭게 인정된 공격 카테고리야.」

🐹 못치「OWASP가 정식으로 카테고리화할 정도로 심각한 문제라고 인정받은 거구나.」

🦜 키나코「근본적인 원인은 RAG Trust Paradox라고 불리는 구조적인 문제야.」

🦜 키나코「사용자의 입력은 검증하면서도, 지식 베이스 (Knowledge Base)에서 검색한 결과는 암묵적으로 신뢰해 버리는 거지.」

🐹 못치「정문은 엄격하게 체크하면서, 뒷문은 프리패스라는 거네.」

🦜 키나코「정확해. 정식 통로를 통해 들어오는 데이터니까 무방비 상태가 되어버리는 거야.」

🦜 키나코「이 약점을 파고든 연구가 PoisonedRAG야. USENIX Security 2025에서 발표된 논문이지.」

🦜 키나코「268만 건의 텍스트 속에 단 5개의 악의적인 문서를 섞는 것만으로도 공격 성공률이 97%에 달해.」

🐹 못치「268만 분의 5로 97%라고!? 진짜 그렇게 조금만으로도 장악할 수 있는 거야!?」

🐹 못치「도서관에 비유하자면, 268만 권의 장서가 있는데 단 5권만 바꿔치기해도 사서 AI가 엉터리 정보를 알려주기 시작한다는 뜻이네.」

🦜 키나코「게다가 GPT-4, PaLM 2, Llama를 포함한 8종류의 LLM에서 유효했어. 모델을 가리지 않는 공격이야.」

🐹 못치「특정 모델의 약점이 아니라 어떤 AI라도 통한다는 거잖아. 이건 너무 무서운데.」

🦜 키나코「하지만 방어 기술도 발전하고 있어. RAGuard라는 탐지 시스템이 96.2%의 정확도로 오염된 문서를 찾아낼 수 있거든.」

🦜 키나코「이어서 프롬프트 인젝션 (Prompt Injection) 이외의 공격 기법들을 살펴볼게.」

🦜 키나코「먼저 메모리 오염 (Memory Poisoning) 공격이야. 이건 지속형 공격이라 아주 까다로워.」

🐹 못치「지속형? 프롬프트 인젝션이랑은 뭐가 다른 거야?」

🦜 키나코「프롬프트 인젝션은 그 자리에서의 단 한 번의 응답을 가로채는 공격이지?」

🦜 키나코「메모리 오염은 AI의 기억 그 자체를 바꿔버려. 며칠 뒤, 혹은 몇 주 뒤에 발동하는 거야.」

🐹 못치「시한폭탄 같네. 세션을 종료해도 사라지지 않는다는 거지?」

🦜 키나코「맞아. MINJA 공격이라는 수법은 평범한 대화만으로도 AI의 기억을 오염시킬 수 있어.」

🦜 키나코「NeurIPS 2025에 채택된 연구인데, 성공률이 95%를 넘었다고 보고되었어.」

🐹 못치「95%라니! 그냥 평범하게 대화하는 것만으로 기억을 바꿔버린다고!?」

🦜 키나코「Palo Alto Unit 42도 Amazon Bedrock Agents에 대한 메모리 오염을 실증했어.」

🐹 못치「즉, 상용 서비스에서도 실제로 일어날 수 있다는 거네. 무섭다.」

🦜 키나코「다음은 공급망 공격 (Supply Chain Attack)이야. 이건 AI 모델 자체에 독을 심는 수법이지.」

🐹 못치「모델 자체를 변조한다는 거야? 다운로드하는 시점에서 이미 끝난 거네.」

🦜 키나코「PoisonGPT라는 유명한 실험이 있어. Mithril Security가 2023년에 실시했지.」

🦜 키나코「GPT-J-6B라는 모델을 ROME이라는 기술로 단 하나의 사실만 바꿔버렸어.」

🐹 못치「딱 하나만? 그걸로 안 들키는 거야?」

🦜 키나코「그게 무서운 점인데, 표준 벤치마크 (Benchmark)를 모두 통과해 버렸어.」

🐹 못치「벤치마크를 전부 통과해서 허위 정보를 퍼뜨리다니, 진짜 악질이다!」

🦜 키나ko「게다가 비용은 단돈 1달러였어. 타이포스쿼팅 (Typosquatting) 이름으로 Hugging Face에 공개했지.」

🐹 못치「타이포스쿼팅이면 진짜랑 비슷한 가짜 이름으로 공개하는 거잖아. 속기 쉽겠네.」

🦜 키나코「마지막으로 DoS 공격에 대해서도 언급해 둘게. Sponge Examples라는 수법이 있어.」

🦜 키나코「특수한 입력을 통해 처리 지연이나 에너지 소비를 30배까지 치솟게 할 수 있어.」

🐹 못치「재귀적으로 도구를 호출하게 만들어서, 단 한 번의 쿼리로 API 비용이 폭등하는 경우도 있다고 하더라고.」

🐹 못치「아, 그러고 보니 주인 PC에도 설정 파일이 있잖아. 괜찮을까?」

🦜 키나코「악의적인 MCP 서버에 의해 설정이 바뀌게 되면, 주인도 피해자가 될 수 있어.」

🐹 못치「이런 공격 수법들을 체계적으로 정리해 둔 사람들이 있어?」

🦜 키나코「물론이지. 대표적인 것이 MITRE ATLAS와 OWASP라는 두 가지 프레임워크 (Framework)야.」

🐹 못치「프레임워크라면 공격 패턴 도감 같은 거야?」

🦜 키나코「좋은 표현이야. 바로 그거야. 우선 MITRE ATLAS부터 소개할게.」

🦜 키나코「ATLAS는 AI 시스템에 대한 위협을 ATT&CK 매트릭스 형식으로 체계화한 것이야.」

🐹 못치「ATT&CK은 사이버 보안에서 유명하잖아. 공격자의 행동 패턴을 정리한 거 말이야.」

🦜 키나코「그 AI 버전이 바로 ATLAS야. 2025년 10월 기준으로 15개의 전술(Tactics), 66개의 기법(Techniques), 46개의 하위 기법(Sub-techniques)이 정의되어 있어.」

🐹 못치「기법이 66개나 된다고?! 엄청 세세하게 분류되어 있네!」

🦜 키나코「게다가 2026년 2월에는 OpenClaw Investigation이라는 조사에서,」

🦜 키나코「7개의 새로운 에이전트 공격 기법이 추가되었어.」

🐹 못치「에이전트 전용 공격 패턴이 점점 늘어나고 있구나.」

🦜 키나코「중요한 건, ATLAS 완화책(Mitigation)의 약 70%가 기존의 보안 제어(Security Controls)에 매핑될 수 있다는 거야. 전부 처음부터 만들 필요는 없어.」

🐹 못치「7할은 기존 대책을 활용할 수 있다는 거네. 조금 안심이 된다.」

🦜 키나코「다음은 OWASP. 약간 역사 이야기를 해볼게. OWASP는 웹 보안 세계에서 20년 이상의 실적을 가진 단체야.」

🦜 키나코「그 OWASP가 2023년에 LLM을 위한 Top 10을 처음 발표했어.」

🦜 키나코「2025년 버전은 500명 이상의 전문가가 참여해서 만든 최신판이야.」

🐹 못치「500명이나! 그만큼의 전문가가 모였다는 건 상당히 중요하게 여겨지고 있다는 뜻이네.」

🦜 키나코「2025년 버전은 순위가 급변했어. 프롬프트 인젝션(Prompt Injection)이 1위를 유지하는 한편, 기밀 정보 유출이 6위에서 2위로 급상승했지.」

🦜 키나코「공급망(Supply Chain)도 5위에서 3위로 상승했어. 게다가 시스템 프롬프트 유출이나 RAG 오염(RAG Poisoning) 대책 항목도 신설되었어.」

🐹 못치「순위가 이렇게 바뀐다는 건 그만큼 상황이 급변하고 있다는 거겠지. 프레임워크도 따라잡기가 힘들겠다.」

🦜 키나코「공격 수법을 살펴봤는데, 그럼 어떻게 지켜야 할지 대책을 알아봅시다.」

🐹 못치「우선 든든한 게, 보안 검증 도구들이 충실해지고 있다는 점이지.」

🦜 키나코「대표적인 것이 NVIDIA가 개발한 garak이야. 오픈 소스(Open Source)로 공개되어 있어.」

🐹 못치「100개 이상의 공격 모듈과 120개 이상의 취약점 카테고리를 가지고 있네.」

🦜 키나코「1회 실행으로 최대 2만 개의 프롬프트를 던질 수 있어서, 망라적으로 테스트할 수 있어.」

🐹 못치「LLM 버전의 nmap이나 Metasploit 같은 위치구나.」

🦜 키나코「또 하나는 Microsoft의 PyRIT. 2024년 2월에 Azure AI Red Team이 공개했어.」

🐹 못치「Azure AI Foundry에도 통합되어 있어서 바로 실무에서 쓸 수 있는 게 좋네.」

🦜 키나코「그리고 도구와 함께 중요한 것이 AI 보안의 5대 방어 원칙이야.」

🦜 키나코「첫 번째는 최소 권한(Least Privilege). AI 에이전트에게는 필요 최소한의 권한만 부여하는 거야.」

🐹 못치「편의점 아르바이트생에게 사장님 금고 열쇠를 주지는 않잖아? AI에게 관리자(admin) 권한을 주는 것도 마찬가지지.」

🦜 키나코「두 번째는 다층 방어(Defense in Depth). 입력 데이터 정화(Sanitization), 구조적 분리, 출력 필터링을 조합하는 거야.」

🐹 못치「벽 하나가 아니라 여러 겹으로 방어를 쌓는 거구나. 성의 해자처럼 말이야.」

🦜 키나코「세 번째는 Human-in-the-Loop. 고위험 작업에는 인간의 승인을 필수적으로 만드는 거야.」

🐹 못치「중요한 결제에 상사의 도장이 필요한 것과 같네. AI만으로 완결 지어서는 안 돼.」

🦜 키나코「네 번째는 공급망 검증(Supply Chain Verification). MCP 서버를 소프트웨어 의존성(Dependency)과 마찬가지로 심사하는 거야.」

🐹 못치「AI-BOM, 즉 AI 시스템의 부품 명세서로 어떤 MCP 서버를 사용하고 있는지 전부 기록하는 거네.」

🦜 키나코「다섯 번째는 지속적인 레드 티밍(Red Teaming). garak이나 PyRIT로 정기적으로 적대적 테스트를 돌리는 것이지.」

🐹 못치「도구가 있으니까 안 쓰면 손해겠네! 한 번으로 끝내는 게 아니라 지속하는 게 중요하구나.」

🦜 키나코「2026년 실무에서는 MCP 서버의 심사 체계가 최우선 과제야.」

🦜 키나코「거기에 코딩 도구의 설정 파일 보호도 빠질 수 없지.」

🦜 키나코「자, 그럼 여기서 이번 포인트들을 정리해 봅시다.」

🦜 키나코「AI 에이전트를 노리는 공격 수법은 80종 이상 확인되었고 지금도 계속 늘어나고 있어.」

🐹 못치「프롬프트 인젝션, MCP 공격, RAG 오염. 이 세 가지가 주요 공격 카테고리였지.」

🦜 키나코「코딩 AI를 직접 노리는 CVE도 차례차례 발견되고 있어.」

🐹 못찌「하지만, 방어의 5대 원칙이 있었지. 최소 권한 (Principle of Least Privilege), 다층 방어 (Defense in Depth), Human-in-the-Loop.」

🦜 키나코「거기에 공급망 보안 (Supply Chain Security)과 지속적인 레드팀 활동 (Continuous Red Teaming). 이 다섯 가지를 꼭 기억해 두자.」

🐹 못찌「공격 기법을 아는 것이 방어의 가장 중요한 첫걸음이라는 뜻이네.」

🐹 못찌「아, 그러고 보니 말이야. 주인님, 요즘 Claude Code 엄청 쓰고 있잖아.」

🦜 키나코「설정 파일인 .claude/settings.json을 제대로 관리하고 있으려나.」

🐹 못찌「악의적인 .mcp.json으로 도구 설정을 바꿔버리기라도 하면 정말 큰일 나잖아!」

🦜 키나코「봐, 남 일이 아니지? 주인님에게도 오늘 영상을 보여드려야겠어.」

🐹 못찌「맞아! 주인님, 보안 설정 제대로 다시 확인해 줘!」

🦜 키나코「자, 시청자 여러분께도 여쭤보고 싶네.」

🐹 못찌「이번에 소개한 공격 기법 중에서 가장 무섭다고 생각한 것은 무엇이었나요?」

🦜 키나코「AI 코딩 도구의 보안 설정을 신경 쓰고 계시는지도 꼭 댓글로 알려줘.」

🐹 못찌「AI 보안의 최신 동향에 대해서는 다른 영상에서도 깊이 있게 다뤄볼게.」

🦜 키나코「관심 있는 사람은 채널 구독하고 기다려 줘.」

키나코못찌의 테크 심층 분석에서는 AI/LLM을 중심으로 한 테크 전반을 햄스터(🐹 못찌)와 세키세이인코(🦜 키나코)의 대화로 즐겁게 해설하고 있습니다.

▶️ 영상으로 보기 → 당신의 AI 도구가 위험하다? AI 에이전트 공격의 실태와 방어책

👍 이 기사가 도움이 되었다면 LGTM·저장(Stock) 해주시면 큰 힘이 됩니다!

📺 채널 구독은 여기로 → 키나코못찌의 테크 심층 분석

🔗 다른 해설 영상도 보기 → 키나코못찌의 테크 심층 분석 영상 목록