OWASP Agent Memory Guard: AI 에이전트 메모리 오염이 운영 시스템을 망치기 전에 차단하는 방법

운영 환경에서 당신의 AI 에이전트를 죽이는 조용한 위협

AI 에이전트를 배포했습니다. 아주 잘 작동하고 있습니다. 그러다 3주 뒤, 에이전트가 이상하게 행동하기 시작합니다. 잘못된 것을 추천하고, 데이터를 유출하며, 안전 규칙을 무시합니다. 모델 가중치(Model weights)를 확인해 봅니다. 정상입니다. 코드를 확인합니다. 정상입니다. 문제는 **메모리(Memory)**에 있습니다.

이것이 바로 AI 에이전트 메모리 오염 (AI Agent Memory Poisoning) — OWASP Agentic Top 10의 ASI06 항목 — 이며, 오늘날 운영 중인 AI 시스템에서 가장 과소평가된 공격 벡터 중 하나입니다.

메모리 오염이란 무엇인가?

공격자(또는 악의적인 도구 출력값)가 에이전트의 영구 메모리(Persistent memory)에 조작된 콘텐츠를 주입합니다:

대화 기록 (Conversation history)
RAG/벡터 저장소 (RAG/vector stores)
외부 메모리 시스템 (Mem0, Zep 등)

주입된 콘텐츠는 모든 세션에 걸쳐 향후의 추론(Reasoning)을 조용히 오염시킵니다. 모델 가중치는 정상입니다. 하지만 메모리가 오염되었습니다.

공격 예시:

만약 당신의 에이전트가 악의적인 도구 출력값을 스캔하지 않고 메모리에 저장한다면, 이후의 모든 사용자는 오염된 응답을 받게 됩니다.

OWASP Agent Memory Guard (AMG) 소개

저는 이 문제를 해결하기 위해 agent-memory-guard를 구축했습니다. 이는 OWASP 산하의 오픈 소스 Python 라이브러리로, 모든 메모리 저장소를 투명한 보안 계층(Security layer)으로 감싸줍니다.

설치: pip install agent-memory-guard

GitHub: https://github.com/OWASP/www-project-agent-memory-guard

작동 방식

AMG는 모든 메모리 읽기 및 쓰기를 가로채어 다음 사항을 스캔합니다:

프롬프트 인젝션 패턴 (Prompt injection patterns) — 150개 이상의 정규 표현식(Regex) 패턴 + 의미론적 분석 (Semantic analysis)
PII/비밀 정보 유출 (PII/secret leakage) — 주민등록번호(SSN), 신용카드, API 키, 비밀번호
보호된 키 변조 (Protected key tampering) — 중요한 시스템 지침(System instructions)이 덮어쓰여지는 것을 방지
이상 콘텐츠 (Anomalous content) — 인젝션 시도를 나타내는 통계적 이상치 (Statistical outliers)

LangChain, LangGraph, AutoGen, Mem0, 커스텀 RAG 파이프라인 및 모든 dict 형태의 메모리 저장소와 함께 작동합니다.

성능

92.5% 탐지율 (detection rate): AgentThreatBench 평가 스위트 기준
0% 오탐 (false positives): 정상적인 워크로드 기준
59µs 중앙값 지연 시간 (median latency): 인지할 수 없는 수준의 오버헤드
외부 의존성 없음 (Zero external dependencies): 완전한 로컬 실행, 클라우드 호출 없음

AgentThreatBench (ATB) 평가 스위트

AMG는 에이전트 메모리 방어 체계를 벤치마킹하기 위해 엄선된 400개 이상의 적대적 메모리 공격 시나리오 데이터셋인 AgentThreatBench를 함께 제공합니다.

설치: pip install agent-threat-bench

이것이 지금 중요한 이유

OWASP Agentic Top 10 (2025년 발표)은 메모리 오염 (memory poisoning)을 프로덕션 AI 에이전트의 핵심 위험 요소로 식별했습니다. 에이전트 시스템이 더욱 자율적이고 장기적으로 작동함에 따라, 공격 표면 (attack surface)은 기하급급수적으로 증가하고 있습니다.

AMG는 이 위협 클래스를 구체적으로 겨냥한 최초의 오픈 소스 기반 프로덕션 준비 완료 (production-ready) 방어 도구입니다.

참여하기

GitHub: https://github.com/OWASP/www-project-agent-memory-guard
PyPI: pip install agent-memory-guard
Benchmark: pip install agent-threat-bench

저장소를 스타(Star)하고, 이슈(Issue)를 제기하거나, ATB에 공격 시나리오를 기여하거나, 혹은 다음 에이전트 프로젝트에서 바로 사용해 보세요. 피드백은 언제나 환영합니다!