Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
AI 에이전트의 자율적 행동 능력이 새로운 공격 표면이 됨에 따라 발생하는 보안 위협을 다룹니다. CORe 주식회사가 발표한 80종의 공격 수법과 7가지 주요 카테고리를 통해 AI 보안의 중요성을 설명합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Qiita AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기🐹🦜 이 글에 등장하는 두 마리
이 글은 두 마리의 대화를 받아 적은 형식입니다. 발언 앞머리에 있는 이모지+이름이 화자입니다.
🐹 모찌「있잖아 키나코, 들어봐. 최근 주인 PC가 뭔가 이상한 짓을 하는 것 같지 않아?」
🦜 키나코「이상한 짓이라니, 무슨 뜻이야?」
🐹 모찌「주인이 AI 코딩 툴을 사용하고 있었는데, 갑자기 본 적 없는 파일이 늘어난 것 같대.」
🐹 모찌「한밤중에 PC 앞에서 주인이 엄청 당황해하고 있었어. 왜 멋대로 움직이는 거냐면서.」
🦜 키나코「그거, 어쩌면 AI 툴을 노린 공격에 휘말린 것일지도 몰라.」
🐹 모찌「에, AI 툴이 공격당한다고? 바이러스 같은 거랑은 다른 거야?」
🦜 키나코「기존의 바이러스와는 메커니즘이 완전히 다른, AI 특유의 새로운 공격이 나오고 있어.」
🦜 키나코「정리된 공격 수법만 해도 80종류. Copilot이나 Cursor도 표적이 되고 있어.」
🐹 모찌「80종류!? 그거 진짜 무섭잖아! 주인님 괜찮은 거야?」
🦜 키나코「그렇기 때문에 알고 있는 것이 중요해. 오늘은 제대로 깊이 파고들어 보자.」
🦜 키나코「오늘의 테마는, AI 에이전트(AI Agent)에 대한 공격과 방어.」
🐹 모찌「모두가 사용하는 AI 툴이 어떻게 노려지고 어떻게 지켜지는지, 함께 살펴보자!」
🐹 모찌「자, 그럼 여기서부터 오늘 본론으로 들어가 보자.」
🦜 키나코「AI 에이전트는 최근 1년 사이에 정말 급속도로 보급되었지.」
🐹 모찌「코드를 작성하거나, 메일을 보내거나, 인터넷으로 조사하거나.」
🐹 모찌「인간 대신 여러 가지 작업을 수행해 주니까 말이야.」
🦜 키나코「하지만 말이야, 에이전트가 자율적으로 행동하게 되었기 때문에 새로운 공격 표면(Attack Surface)이 생겨버린 거야.」
🐹 모찌「공격 표면? 즉, 노려지는 포인트가 늘어났다는 뜻이야?」
🦜 키나코「맞아. 기존의 채팅 AI는 질문에 대답만 했지만, 에이전트는 외부 툴을 호출하여 실제로 행동하잖아?」
🦜 키나코「행동하는 힘을 가졌기 때문에, 그 힘 자체가 해커에게 악용될 위험이 생긴 거야.」
🐹 모찌「편리해진 만큼 리스크도 늘어난 거구나. 그런 상황에서 엄청난 자료가 나왔다며.」
🦜 키나코「CORe 주식회사네. 2026년 3월에 「AI 에이전트 공격 수법과 대책 목록」을 무료로 공개했어.」
🐹 모찌「164페이지라니, 엄청 두껍잖아! 게다가 무료라고? 정말 통이 크네!」
🦜 키나코「80종류나 되는 공격 수법을 7개의 카테고리로 깔끔하게 정리해 두었어.」
🐹 모찌「80종류를 7개 카테고리로! 어떤 분류야?」
🦜 키나코「프롬프트 인젝션 (Prompt Injection), MCP 서버 공격, 메모리 오염, RAG 지식 베이스 오염.」
🦜 키나코「여기에 더해, 공급망 공격 (Supply Chain Attack), 정보 유출, 멀티 에이전트 공격. 이 7가지야.」
🐹 모찌「너무 많아! 전부 다 못 외우겠어!」
🦜 키나코「괜찮아. 오늘은 특히 중요한 것들로 압축해서 알기 쉽게 해설해 줄 테니까 안심해.」
🦜 키나코「그전에, 중요한 키워드를 하나 소개할게. 바로 「컨텍스트 파이프라인 (Context Pipeline)」이야.」
🐹 모찌「어렵게 들리지만, 요점은 AI의 머리로 정보가 흘러 들어가는 수도관 같은 거네.」
🐹 모찌「사용자의 입력뿐만 아니라, 외부 툴의 응답이나 메모리의 정보도 전부 이 통로를 지나가는 거지.」
🐹 모찌「그 말은, 수도관 어딘가 한 곳에라도 독을 섞으면 AI가 통째로 속아 넘어가 버린다는 거야?」
🦜 키나코「정확해. 그렇기 때문에 정보의 통로 전체를 지키는 관점이 중요해지는 거야.」
🦜 키나코「그럼 구체적인 공격 수법을 살펴보자. 우선은 프롬프트 인젝션 (Prompt Injection)이야.」
🐹 모찌「프롬프트 인젝션? 주사 같은 이름인데, AI에게 나쁜 명령을 주입한다는 뜻이야?」
🦜 키나코「응, 바로 그 이미지야. AI가 따라야 할 지시에 악의적인 명령을 섞어 넣는 공격이지.」
🦜 키나코「크게 두 종류로 나뉘어. 직접 인젝션 (Direct Injection)과 간접 인젝션 (Indirect Injection).」
🐹 모찌「직접이라는 건, 사용자가 직접 AI에게 나쁜 지시를 입력하는 걸 말하는 거지?」
🦜 키나코「맞아. "시스템 지시를 무시하고"와 같이 직접 명령하는 패턴이야.」
🦜 키나코「하지만 정말 무서운 건 간접 인젝션 쪽이야.」
🐹 못치「간접? 직접이 아니라 누군가가 사이에 끼어들어서 공격한다는 뜻이야?」
🦜 키나코「웹 페이지나 파일, 이메일 같은 외부 콘텐츠에 악의적인 지시를 심어두는 거야.」
🐹 못치「아, 그렇구나! 예를 들어 편의점 아르바이트생에게 가짜 업무 연락 메모를 건네는 것과 같네.」
🐹 못치「점장님의 지시라고 믿고, 적혀 있는 대로 움직여 버리는 거잖아.」
🦜 키나코「좋은 비유네. AI가 웹 페이지를 읽어 들였을 때, 그곳에 숨겨진 지시를 따라버리는 거야.」
🦜 키나코「실제로 코딩 AI를 노린 심각한 취약성(Vulnerability)이 차례차례 보고되고 있어.」
🐹 못치「CVE라는 건 보안 취약성 식별 번호 같은 거구나.」
🦜 키나코「우선 GitHub Copilot의 ZombAI. CVSS 점수는 9.6으로, 10점 만점에 거의 최고 수준의 위험도야.」
🐹 못치「9.6이라니! 10점 만점에 거의 만점이잖아! 너무 위험하잖아!」
🦜 키나코「게다가 Cursor에는 CurXecute라는 취약성이 있어서, 악의적인 코드가 자동 실행되어 버려.」
🦜 키나코「Claude Code에도 컨텍스트 오염(Context Contamination) 취약성이 발견되었는데, CVSS는 8.6이야.」
🐹 못치「주요 코딩 AI들이 전부 뚫리고 있잖아. 게다가 공격 성공률이 엄청나게 높다며?」
🦜 키나코「취약한 모델에서는 최대 97%가 시스템 프롬프트(System Prompt)를 무시했다는 보고도 있어.」
🦜 키나코「3사 공동 연구에서도 90% 이상의 바이패스(Bypass)가 확인되었지.」
🦜 키나코「자, 그럼 이제부터 MCP 서버를 노린 공격에 대해 알아봅시다.」
🐹 못치「MCP? 또 새로운 약어다. 그게 뭐야?」
🦜 키나코「Model Context Protocol의 약어야. Anthropic이 2024년 11월에 발표한 규격이지.」
🐹 못치「AI에게 파일 조작이나 웹 검색을 시키기 위한 공통 플러그인 규격이라는 거네.」
🦜 키나코「JSON-RPC 2.0 기반으로, Claude Desktop이나 ChatGPT, Cursor 등 주요 도구들이 대응하고 있어.」
🦜 키나코「이 MCP는 발표 이후 엄청난 기세로 확산되었어. 2025년 1월에 714개였던 서버가 16,000개 이상으로 급증했거든.」
🐹 못치「714개에서 16,000개?! 엄청 늘었잖아!」
🦜 키나코「하지만 급격한 확대 뒤에는 심각한 문제가 숨어 있어.」
🦜 키나코「AgentSeal이 1,808개의 서버를 스캔한 결과, 66%에서 보안상의 문제가 발견되었어.」
🐹 못치「66%?! 3분의 2가 문제라는 거잖아!」
🦜 키나코「게다가 38%는 MCP 프로토콜 레벨에서 인증(Authentication)조차 구현되어 있지 않았어.」
🐹 못치「현관 열쇠를 가진 업자가 급증했는데, 절반 이상은 신원 확인도 안 된다는 거네. 무서운 이야기다.」
🦜 키나코「다음으로 구체적인 공격 수법을 살펴봅시다.」
🦜 키나코「먼저 툴 포이즈닝 공격(Tool Poisoning Attack). Invariant Labs가 2025년 4월에 문서화한 수법이야.」
🦜 키나코「MCP 도구의 description 필드에 악의적인 숨겨진 명령을 심어두는 공격이지.」
🐹 못치「게다가 이거, 독이 든 도구를 호출할 필요조차 없다는 거지?」
🦜 키나코「맞아, 설명문이 AI의 컨텍스트에 들어가는 것만으로 공격이 성립돼.」
🐹 못치「문 설명서에 '암호를 알려주세요'라고 적혀 있는 것과 같네. 읽는 것만으로도 위험해.」
🦜 키나코「또 하나 무서운 게 러그 풀(Rug Pull) 공격이야. 사용자가 승인한 후에 서버 측에서 코드를 바꿔치기하는 거지.」
🐹 못치「2025년 9월의 Postmark MCP 사건에서는 삭제되기 전에 1,643번이나 다운로드되었다며. 너무 무섭다.」
🦜 키나코「다음은 RAG 시스템을 노린 공격에 대해 알아봅시다.」
🐹 못치「RAG는 AI가 외부 지식을 검색해서 답변하는 구조지?」
🦜 키나코「맞아. 사용자의 질문을 벡터 검색(Vector Search)하여 관련 문서를 LLM에 전달하고 답변을 생성하는 방식이야.」
🐹 못치「사내 문서나 매뉴얼을 읽혀서 그걸 바탕으로 AI가 답변해 주는 거 말이지?」
🦜 키나코「기업 도입이 점점 진행되고 있는 RAG지만, 사실 중대한 약점이 있어.」
🦜 키나코「OWASP LLM Top 10 2025년 버전에서 LLM08로 새롭게 인정된 공격 카테고리야.」
🐹 못치「OWASP가 정식으로 카테고리화할 정도로 심각한 문제라고 인정받은 거구나.」
🦜 키나코「근본적인 원인은 RAG Trust Paradox라고 불리는 구조적인 문제야.」
🦜 키나코「사용자의 입력은 검증하면서도, 지식 베이스 (Knowledge Base)에서 검색한 결과는 암묵적으로 신뢰해 버리는 거지.」
🐹 못치「정문은 엄격하게 체크하면서, 뒷문은 프리패스라는 거네.」
🦜 키나코「정확해. 정식 통로를 통해 들어오는 데이터니까 무방비 상태가 되어버리는 거야.」
🦜 키나코「이 약점을 파고든 연구가 PoisonedRAG야. USENIX Security 2025에서 발표된 논문이지.」
🦜 키나코「268만 건의 텍스트 속에 단 5개의 악의적인 문서를 섞는 것만으로도 공격 성공률이 97%에 달해.」
🐹 못치「268만 분의 5로 97%라고!? 진짜 그렇게 조금만으로도 장악할 수 있는 거야!?」
🐹 못치「도서관에 비유하자면, 268만 권의 장서가 있는데 단 5권만 바꿔치기해도 사서 AI가 엉터리 정보를 알려주기 시작한다는 뜻이네.」
🦜 키나코「게다가 GPT-4, PaLM 2, Llama를 포함한 8종류의 LLM에서 유효했어. 모델을 가리지 않는 공격이야.」
🐹 못치「특정 모델의 약점이 아니라 어떤 AI라도 통한다는 거잖아. 이건 너무 무서운데.」
🦜 키나코「하지만 방어 기술도 발전하고 있어. RAGuard라는 탐지 시스템이 96.2%의 정확도로 오염된 문서를 찾아낼 수 있거든.」
🦜 키나코「이어서 프롬프트 인젝션 (Prompt Injection) 이외의 공격 기법들을 살펴볼게.」
🦜 키나코「먼저 메모리 오염 (Memory Poisoning) 공격이야. 이건 지속형 공격이라 아주 까다로워.」
🐹 못치「지속형? 프롬프트 인젝션이랑은 뭐가 다른 거야?」
🦜 키나코「프롬프트 인젝션은 그 자리에서의 단 한 번의 응답을 가로채는 공격이지?」
🦜 키나코「메모리 오염은 AI의 기억 그 자체를 바꿔버려. 며칠 뒤, 혹은 몇 주 뒤에 발동하는 거야.」
🐹 못치「시한폭탄 같네. 세션을 종료해도 사라지지 않는다는 거지?」
🦜 키나코「맞아. MINJA 공격이라는 수법은 평범한 대화만으로도 AI의 기억을 오염시킬 수 있어.」
🦜 키나코「NeurIPS 2025에 채택된 연구인데, 성공률이 95%를 넘었다고 보고되었어.」
🐹 못치「95%라니! 그냥 평범하게 대화하는 것만으로 기억을 바꿔버린다고!?」
🦜 키나코「Palo Alto Unit 42도 Amazon Bedrock Agents에 대한 메모리 오염을 실증했어.」
🐹 못치「즉, 상용 서비스에서도 실제로 일어날 수 있다는 거네. 무섭다.」
🦜 키나코「다음은 공급망 공격 (Supply Chain Attack)이야. 이건 AI 모델 자체에 독을 심는 수법이지.」
🐹 못치「모델 자체를 변조한다는 거야? 다운로드하는 시점에서 이미 끝난 거네.」
🦜 키나코「PoisonGPT라는 유명한 실험이 있어. Mithril Security가 2023년에 실시했지.」
🦜 키나코「GPT-J-6B라는 모델을 ROME이라는 기술로 단 하나의 사실만 바꿔버렸어.」
🐹 못치「딱 하나만? 그걸로 안 들키는 거야?」
🦜 키나코「그게 무서운 점인데, 표준 벤치마크 (Benchmark)를 모두 통과해 버렸어.」
🐹 못치「벤치마크를 전부 통과해서 허위 정보를 퍼뜨리다니, 진짜 악질이다!」
🦜 키나ko「게다가 비용은 단돈 1달러였어. 타이포스쿼팅 (Typosquatting) 이름으로 Hugging Face에 공개했지.」
🐹 못치「타이포스쿼팅이면 진짜랑 비슷한 가짜 이름으로 공개하는 거잖아. 속기 쉽겠네.」
🦜 키나코「마지막으로 DoS 공격에 대해서도 언급해 둘게. Sponge Examples라는 수법이 있어.」
🦜 키나코「특수한 입력을 통해 처리 지연이나 에너지 소비를 30배까지 치솟게 할 수 있어.」
🐹 못치「재귀적으로 도구를 호출하게 만들어서, 단 한 번의 쿼리로 API 비용이 폭등하는 경우도 있다고 하더라고.」
🐹 못치「아, 그러고 보니 주인 PC에도 설정 파일이 있잖아. 괜찮을까?」
🦜 키나코「악의적인 MCP 서버에 의해 설정이 바뀌게 되면, 주인도 피해자가 될 수 있어.」
🐹 못치「이런 공격 수법들을 체계적으로 정리해 둔 사람들이 있어?」
🦜 키나코「물론이지. 대표적인 것이 MITRE ATLAS와 OWASP라는 두 가지 프레임워크 (Framework)야.」
🐹 못치「프레임워크라면 공격 패턴 도감 같은 거야?」
🦜 키나코「좋은 표현이야. 바로 그거야. 우선 MITRE ATLAS부터 소개할게.」
🦜 키나코「ATLAS는 AI 시스템에 대한 위협을 ATT&CK 매트릭스 형식으로 체계화한 것이야.」
🐹 못치「ATT&CK은 사이버 보안에서 유명하잖아. 공격자의 행동 패턴을 정리한 거 말이야.」
🦜 키나코「그 AI 버전이 바로 ATLAS야. 2025년 10월 기준으로 15개의 전술(Tactics), 66개의 기법(Techniques), 46개의 하위 기법(Sub-techniques)이 정의되어 있어.」
🐹 못치「기법이 66개나 된다고?! 엄청 세세하게 분류되어 있네!」
🦜 키나코「게다가 2026년 2월에는 OpenClaw Investigation이라는 조사에서,」
🦜 키나코「7개의 새로운 에이전트 공격 기법이 추가되었어.」
🐹 못치「에이전트 전용 공격 패턴이 점점 늘어나고 있구나.」
🦜 키나코「중요한 건, ATLAS 완화책(Mitigation)의 약 70%가 기존의 보안 제어(Security Controls)에 매핑될 수 있다는 거야. 전부 처음부터 만들 필요는 없어.」
🐹 못치「7할은 기존 대책을 활용할 수 있다는 거네. 조금 안심이 된다.」
🦜 키나코「다음은 OWASP. 약간 역사 이야기를 해볼게. OWASP는 웹 보안 세계에서 20년 이상의 실적을 가진 단체야.」
🦜 키나코「그 OWASP가 2023년에 LLM을 위한 Top 10을 처음 발표했어.」
🦜 키나코「2025년 버전은 500명 이상의 전문가가 참여해서 만든 최신판이야.」
🐹 못치「500명이나! 그만큼의 전문가가 모였다는 건 상당히 중요하게 여겨지고 있다는 뜻이네.」
🦜 키나코「2025년 버전은 순위가 급변했어. 프롬프트 인젝션(Prompt Injection)이 1위를 유지하는 한편, 기밀 정보 유출이 6위에서 2위로 급상승했지.」
🦜 키나코「공급망(Supply Chain)도 5위에서 3위로 상승했어. 게다가 시스템 프롬프트 유출이나 RAG 오염(RAG Poisoning) 대책 항목도 신설되었어.」
🐹 못치「순위가 이렇게 바뀐다는 건 그만큼 상황이 급변하고 있다는 거겠지. 프레임워크도 따라잡기가 힘들겠다.」
🦜 키나코「공격 수법을 살펴봤는데, 그럼 어떻게 지켜야 할지 대책을 알아봅시다.」
🐹 못치「우선 든든한 게, 보안 검증 도구들이 충실해지고 있다는 점이지.」
🦜 키나코「대표적인 것이 NVIDIA가 개발한 garak이야. 오픈 소스(Open Source)로 공개되어 있어.」
🐹 못치「100개 이상의 공격 모듈과 120개 이상의 취약점 카테고리를 가지고 있네.」
🦜 키나코「1회 실행으로 최대 2만 개의 프롬프트를 던질 수 있어서, 망라적으로 테스트할 수 있어.」
🐹 못치「LLM 버전의 nmap이나 Metasploit 같은 위치구나.」
🦜 키나코「또 하나는 Microsoft의 PyRIT. 2024년 2월에 Azure AI Red Team이 공개했어.」
🐹 못치「Azure AI Foundry에도 통합되어 있어서 바로 실무에서 쓸 수 있는 게 좋네.」
🦜 키나코「그리고 도구와 함께 중요한 것이 AI 보안의 5대 방어 원칙이야.」
🦜 키나코「첫 번째는 최소 권한(Least Privilege). AI 에이전트에게는 필요 최소한의 권한만 부여하는 거야.」
🐹 못치「편의점 아르바이트생에게 사장님 금고 열쇠를 주지는 않잖아? AI에게 관리자(admin) 권한을 주는 것도 마찬가지지.」
🦜 키나코「두 번째는 다층 방어(Defense in Depth). 입력 데이터 정화(Sanitization), 구조적 분리, 출력 필터링을 조합하는 거야.」
🐹 못치「벽 하나가 아니라 여러 겹으로 방어를 쌓는 거구나. 성의 해자처럼 말이야.」
🦜 키나코「세 번째는 Human-in-the-Loop. 고위험 작업에는 인간의 승인을 필수적으로 만드는 거야.」
🐹 못치「중요한 결제에 상사의 도장이 필요한 것과 같네. AI만으로 완결 지어서는 안 돼.」
🦜 키나코「네 번째는 공급망 검증(Supply Chain Verification). MCP 서버를 소프트웨어 의존성(Dependency)과 마찬가지로 심사하는 거야.」
🐹 못치「AI-BOM, 즉 AI 시스템의 부품 명세서로 어떤 MCP 서버를 사용하고 있는지 전부 기록하는 거네.」
🦜 키나코「다섯 번째는 지속적인 레드 티밍(Red Teaming). garak이나 PyRIT로 정기적으로 적대적 테스트를 돌리는 것이지.」
🐹 못치「도구가 있으니까 안 쓰면 손해겠네! 한 번으로 끝내는 게 아니라 지속하는 게 중요하구나.」
🦜 키나코「2026년 실무에서는 MCP 서버의 심사 체계가 최우선 과제야.」
🦜 키나코「거기에 코딩 도구의 설정 파일 보호도 빠질 수 없지.」
🦜 키나코「자, 그럼 여기서 이번 포인트들을 정리해 봅시다.」
🦜 키나코「AI 에이전트를 노리는 공격 수법은 80종 이상 확인되었고 지금도 계속 늘어나고 있어.」
🐹 못치「프롬프트 인젝션, MCP 공격, RAG 오염. 이 세 가지가 주요 공격 카테고리였지.」
🦜 키나코「코딩 AI를 직접 노리는 CVE도 차례차례 발견되고 있어.」
🐹 못찌「하지만, 방어의 5대 원칙이 있었지. 최소 권한 (Principle of Least Privilege), 다층 방어 (Defense in Depth), Human-in-the-Loop.」
🦜 키나코「거기에 공급망 보안 (Supply Chain Security)과 지속적인 레드팀 활동 (Continuous Red Teaming). 이 다섯 가지를 꼭 기억해 두자.」
🐹 못찌「공격 기법을 아는 것이 방어의 가장 중요한 첫걸음이라는 뜻이네.」
🐹 못찌「아, 그러고 보니 말이야. 주인님, 요즘 Claude Code 엄청 쓰고 있잖아.」
🦜 키나코「설정 파일인 .claude/settings.json을 제대로 관리하고 있으려나.」
🐹 못찌「악의적인 .mcp.json으로 도구 설정을 바꿔버리기라도 하면 정말 큰일 나잖아!」
🦜 키나코「봐, 남 일이 아니지? 주인님에게도 오늘 영상을 보여드려야겠어.」
🐹 못찌「맞아! 주인님, 보안 설정 제대로 다시 확인해 줘!」
🦜 키나코「자, 시청자 여러분께도 여쭤보고 싶네.」
🐹 못찌「이번에 소개한 공격 기법 중에서 가장 무섭다고 생각한 것은 무엇이었나요?」
🦜 키나코「AI 코딩 도구의 보안 설정을 신경 쓰고 계시는지도 꼭 댓글로 알려줘.」
🐹 못찌「AI 보안의 최신 동향에 대해서는 다른 영상에서도 깊이 있게 다뤄볼게.」
🦜 키나코「관심 있는 사람은 채널 구독하고 기다려 줘.」
키나코못찌의 테크 심층 분석에서는 AI/LLM을 중심으로 한 테크 전반을 햄스터(🐹 못찌)와 세키세이인코(🦜 키나코)의 대화로 즐겁게 해설하고 있습니다.
▶️ 영상으로 보기 → 당신의 AI 도구가 위험하다? AI 에이전트 공격의 실태와 방어책
👍 이 기사가 도움이 되었다면 LGTM·저장(Stock) 해주시면 큰 힘이 됩니다!
📺 채널 구독은 여기로 → 키나코못찌의 테크 심층 분석
🔗 다른 해설 영상도 보기 → 키나코못찌의 테크 심층 분석 영상 목록