기억 상실로 인한 파멸: 에이전트가 "알겠습니다"라고 말하고 소송이 들어올 때까지 모든 것을 잊어버린 이유

1. 3,700번의 조회 (Lookups)

3,700번. 지난주 제 에이전트 중 하나가 수행한 메모리 조회 (memory lookups) 횟수입니다.

이 에이전트는 이미 답변했다는 사실을 전혀 기억하지 못했기 때문에, 동일한 질문을 3,700번이나 받았습니다.

각 답변은 조금씩 달랐습니다. 사용자는 답변이 거듭될수록 점점 더 혼란스러워했습니다. 단 한 번의 대화가 끝날 무렵, 에이전트는 서로 모순되는 6가지 답변을 내놓았고, 그러고는 이를 "기저 모델 드리프트 (underlying model drift)" 탓으로 돌렸습니다.

에이전트는 거짓말을 하지 않습니다. 하지만 기억 상실증에 걸린 에이전트는 당신의 정신 상태를 의심하게 만들 것입니다.

문제는 모델이 아닙니다. 바로 메모리 (memory)입니다.

2. 에이전트가 잊어버리는 이유

LLM (Large Language Models)은 설계 단계부터 상태가 없는 (stateless) 특성을 가집니다. 모든 호출은 독립적이며, 이는 버그가 아니라 아키텍처 (architecture)입니다.

하지만 "에이전트 기억 상실 (Agent amnesia)"을 이야기할 때, 모델이 범인인 경우는 드뭅니다. 진짜 문제는 **잘못 설계된 메모리 시스템 (memory systems)**입니다.

제가 분석한 800건 이상의 운영 환경 사고 (production incidents)를 바탕으로 볼 때, 에이전트의 메모리 손실은 4가지 패턴으로 분류됩니다:

각 패턴은 동일한 결과를 초래합니다: 에이전트는 자신이 알고 있다고 생각하지만, 실제로는 모릅니다.

그리고 이는 시스템 충돌 (crash)보다 훨씬 더 위험합니다.

3. 패턴 1: 컨텍스트 오버플로 (Context Overflow)

가장 흔한 기억 상실 패턴이자, 재현하기 가장 쉬운 패턴입니다.

시나리오:

사용자가 긴 대화를 시작합니다. 에이전트는 처음 20번의 턴 (turns) 동안 요구사항을 수집합니다. 21번째 턴에서 사용자가 새로운 질문을 던지면, 에이전트는 사용자가 이전에 언급했던 핵심 제약 조건을 갑자기 잊어버리고, 브리프 (brief)를 완전히 위반하는 솔루션을 생성합니다.

이유는 무엇일까요?

GPT-4의 컨텍스트 윈도우 (context window)는 128K 토큰입니다. Claude의 것은 200K입니다. 하지만 대부분의 에이전트 프레임워크 (agent frameworks)는 윈도우가 가득 차면 오래된 메시지를 잘라내며 (trim), 가장 최근의 N개 턴만 유지합니다.

결과: 에이전트의 단기 기억 (short-term memory)이 잘려 나가며 — 에이전트는 자신의 기억이 잘려 나갔다는 사실조차 모릅니다.

프로덕션 코드 (Production code): ContextWindowGuard

import tiktoken

class ContextWindowGuard:
...

핵심 통찰 (The key insight): 컨텍스트 윈도우 (context window)가 한계에 도달할 때, 단순히 잘라내지 마세요 — 전략적으로 압축 (compress strategically)하세요. 시스템 지침 (system instructions)과 최근 대화는 유지하십시오. 중간 부분은 요약본으로 교체하십시오.

4. 패턴 2: 세션 격리 (Session Isolation)

가장 교활한 기억 상실 패턴입니다. 에이전트는 개별 대화 하나하나에서는 잘 작동하지만, 대화 간의 모든 것을 잊어버립니다.

시나리오:

월요일에 사용자가 에이전트에게 "저는 미니멀한 디자인을 선호합니다 — 화려한 색상은 싫어요."라고 말합니다. 수요일에 사용자가 새로운 채팅을 열고 "랜딩 페이지 디자인을 도와주세요."라고 요청합니다. 에이전트는 무지개색 폭발과 같은 디자인을 생성합니다.

사용자는 에이전트가 잊어버렸다고 생각하지 않을 것입니다. 대신 에이전트가 관심이 없다고 생각할 것입니다.

프로덕션 코드 (Production code): SessionMemoryBridge

import json
from datetime import datetime, timedelta
from typing import Optional
...

5. 패턴 3: 벡터 검색 드리프트 (Vector Retrieval Drift)

에이전트가 장기 기억 (long-term memory)으로 RAG를 사용할 때, 가장 위험한 실패는 아무것도 검색하지 못하는 것이 아니라 — 잘못된 기억을 검색하는 것입니다.

시나리오:

에이전트가 월요일에 고객 A의 주문(ID #12345)을 처리했습니다. 수요일에 고객 A가 돌아와 "제 주문이 어떻게 되었나요?"라고 묻습니다. 에이전트의 벡터 검색 (vector search)은 임베딩 표현 (embedding representations)이 우연히 가까웠다는 이유로 다른 고객의 유사해 보이는 주문(#56789)을 검색합니다.

에이전트는 자신 있게 대답합니다: "고객님의 주문 #56789가 발송되었습니다."

그동안 고객 A의 실제 주문인 #12345는 그대로 방치되어 있습니다.

프로덕션 코드 (Production code): RAGMemoryValidator

from datetime import datetime, timedelta

class RAGMemoryValidator:
...

6. 패턴 4: 오래된 기억 오염 (Stale Memory Poisoning)

이것은 가장 위험한 패턴입니다 — 에이전트가 무언가를 기억하고는 있지만, 그것이 잘못된 버전의 정보인 경우입니다.

시나리오:

귀사의 가격 정책이 6월에 변경되었습니다. 에이전트의 장기 기억 (long-term memory)에는 여전히 4월의 이전 가격 정보가 남아 있습니다. 7월에 한 고객이 견적을 요청합니다. 에이전트는 이전 가격을 검색하여, 귀사가 더 이상 제공할 수 없는 견적을 생성합니다.

고객은 이를 수락합니다. 그 후 영업팀이 불일치를 발견합니다. 그다음 법무팀이 개입하게 됩니다.

프로덕션 코드: StaleMemoryGuard

from datetime import datetime, timedelta

class StaleMemoryGuard:
...

7. 기억 상실이 크래시 (Crash)보다 더 위험한 이유

크래시 (Crashes)는 무섭지 않습니다. 크래시는 에러를 발생시킵니다. 스택 트레이스 (stack traces)를 로그에 남깁니다. 발생했다는 사실을 알 수 있습니다.

기억 상실 (Amnesia)은 그렇지 않습니다.

기억 상실이 있는 에이전트는 겉보기에 완벽해 보입니다. 질문에 답하고, 작업을 수행하며, 출력을 생성합니다. 단지 잘못 기억할 뿐입니다.

그리고 바로 그 점이 에이전트를 위험하게 만듭니다:

메모리 상태 점검 (memory health checks) 기능이 없는 에이전트 프레임워크는 절대 프로덕션 환경에 배포해서는 안 됩니다.

이는 ACID가 없는 데이터베이스와 같습니다. 제대로 작동하지 않을 때까지는

이것은 ARK Trust 프레임워크 내 MemoryGuardian 모듈의 핵심 로직입니다 — 자동 만료(auto-expiry) 및 충돌 감지(conflict detection) 기능이 포함된 4계층 보호 체계입니다.

하지만 무언가를 구매할 필요는 없습니다. 위의 코드만으로도 프로덕션 환경에서 실행하기에 충분합니다.

만약 당신의 에이전트가 메모리 상태 점검(memory health check) 없이 한 달 동안 실행되었다면 — 오늘 입게 될 손실은 API 비용이 아닙니다. 그것은 바로 신뢰 자본 (trust capital) 입니다.

기억 상실로 인한 파멸 — '에이전트가 죽는 7가지 방식' 시리즈의 마지막 편

시리즈 요약:

• 루프로 인한 파멸: 제작자가 잠든 사이 한 에이전트가 어떻게 23,000달러를 태워버렸나
• 환각으로 인한 파멸: 당신의 에이전트가 모든 사람에게 평생 50% 할인을 약속했다
• 교착 상태로 인한 파멸: 당신의 멀티 에이전트 시스템(Multi-Agent System)이 영원히 대기 중이다
• 오염으로 인한 파멸: 당신의 에이전트가 댓글 하나를 읽고 경쟁사를 돕기 시작했다
• 침묵으로 인한 파멸: 당신의 에이전트가 7일 동안 완벽하게 작동했다. 그러다 고객에게 전화가 왔다.
• [기억 상실로 인한 파멸: 당신의 에이전트가 "알겠습니다"라고 말하고 모든 것을 잊어버렸다] ← 현재 위치