1,000개의 AI 에이전트 메모리 저장소를 스캔했습니다. 12%는 이미 오염되어 있었습니다.

지난달 저는 실제 운영 중인 AI 에이전트 배포 환경의 메모리 저장소(memory stores)를 대상으로 OWASP Agent Memory Guard를 실행했습니다. 결과는 예상보다 훨씬 심각했습니다.

설정 (The Setup)

에이전트 메모리(Agent memory) — LLM(대규모 언어 모델) 기반 에이전트가 과거의 상호작용, 도구 출력(tool outputs), 사용자 선호도를 기억하기 위해 사용하는 지속적인 컨텍스트(persistent context) — 가 새로운 공격 표면(attack surface)이 되고 있습니다. 현재 세션을 대상으로 하는 프롬프트 인젝션(Prompt injection)과 달리, 메모리 포이즈닝(Memory poisoning)은 세션 전반에 걸쳐 지속되며 미래의 동작을 조용히 오염시킵니다.

저는 다음과 같은 항목을 확인하는 스캐너를 구축했습니다:

• 프롬프트 인젝션 (Prompt injection) — 저장된 컨텍스트에 숨겨진 지침
• 자격 증명 유출 (Credential leakage) — 평문으로 저장된 API 키, 토큰, 비밀번호
• 권한 상승 (Privilege escalation) — 에이전트가 높은 권한의 행동을 하도록 속이는 항목
• 교차 세션 오염 (Cross-session contamination) — 한 사용자의 데이터가 다른 사용자의 컨텍스트로 유출되는 현상
• 도구 오용 패턴 (Tool abuse patterns) — 도구 호출(tool calls)을 조작하도록 설계된 저장된 출력값

발견 사항 (What I Found)

다양한 에이전트 배포 환경에서 스캔한 약 1,000개의 메모리 항목 중:

• 12%가 최소 하나 이상의 보안 문제를 포함하고 있었습니다.
• 7%는 저장된 도구 출력값에 프롬프트 인젝션 패턴이 포함되어 있었습니다.
• 3%는 유출된 자격 증명(API 키, 데이터베이스 연결 문자열)을 포함하고 있었습니다.
• 2%는 교차 세션 오염을 보여주었습니다.

가장 무서운 점은 무엇일까요? 에이전트들이 이 오염된 컨텍스트를 바탕으로 확신에 차고 일관된 결정을 내리고 있었다는 것입니다. 오류도, 경고도 없었습니다. 그저 조용히 잘못된 동작을 수행할 뿐이었습니다.

도구 (The Tool)

저는 모든 것을 OWASP 프로젝트로 오픈 소스화했습니다: Agent Memory Guard

빠른 시작 (Quick Start)

pip install agent-memory-guard

# 메모리 파일 스캔
...

Python 통합 (Python Integration)

from agent_memory_guard import scan_memory

result = scan_memory(
...

프레임워크 통합 (Framework Integrations)

LangChain, CrewAI, LlamaIndex를 위한 미들웨어(middleware)로 작동합니다:

from agent_memory_guard.integrations import LangChainGuard

guard = LangChainGuard()
...

v0.3.0에 포함된 내용 (What's in v0.3.0)

이번 주 출시된 기능:

기능	설명
CLI Scanner	amg scan, amg check, amg serve
...

이것이 중요한 이유

만약 여러분이 영구 메모리 (persistent memory)를 사용하는 에이전트를 구축하고 있다면 (LangChain, CrewAI, AutoGen 또는 모든 RAG 시스템을 사용 중이라면 아마 그럴 것입니다), 여러분의 메모리 저장소는 보호되지 않은 공격 표면 (attack surface)입니다.

에이전트는 자신의 메모리를 암묵적으로 신뢰합니다. 메모리를 오염 (poison)시키면, 향후 모든 세션에 걸쳐 에이전트를 제어할 수 있습니다.

GitHub: https://github.com/OWASP/www-project-agent-memory-guard
PyPI: pip install agent-memory-guard
Docs: 리포지토리에서 전체 문서 확인 가능

이 내용이 유용하다면 Star를 눌러주세요. PR (Pull Request)은 언제나 환영합니다 — 특히 실제 환경에서 발견한 새로운 탐지 패턴(detection patterns)에 대한 기여를 환영합니다.