거버넌스 없는 AI 메모리는 시한폭탄이다

AI 메모리 거버넌스 (AI memory governance)는 선택 사항이 아닙니다. 그리고 현재 거의 아무도 이를 갖추고 있지 않습니다. AI 산업은 메모리 문제를 겪고 있습니다. 기술적인 문제가 아니라, 거버넌스 (governance)의 문제입니다. 매주 새로운 AI 에이전트 프레임워크가 어떤 형태로든 지속성 메모리 (persistent memory)를 탑재하여 출시됩니다. LangChain, CrewAI, AutoGen, OpenAI의 Assistants API — 이들은 모두 이제 메모리 스토리를 가지고 있습니다. 제안 방식은 항상 동일합니다: 당신의 에이전트가 세션 전반에 걸쳐 컨텍스트 (context)를 기억하므로 시간이 지남에 따라 더 똑똑해진다는 것입니다. 그 부분은 사실입니다. 하지만 아무도 이야기하지 않는 부분은 다음과 같습니다: 그 에이전트들이 실제로 무엇을 기억하는지, 얼마나 오래 유지하는지, 누가 접근할 수 있는지, 그리고 그 과정이 감사 (auditable) 가능한지 여부입니다. 거의 보편적인 답변은 '아무것도 없음, 영원히, 모두에게, 아니오'입니다. 이것은 시한폭탄입니다.

실제 운영 환경에서 "AI 메모리"가 어떻게 보이는가
오늘날 개발자가 AI 에이전트에 메모리를 통합할 때, 일반적으로 다음과 같은 일이 발생합니다:
에이전트가 대화를 수신하거나 문서를 처리합니다. 관련 사실이 추출되어 벡터 스토어 (vector store)에 임베딩 (embedded)됩니다. 향후 상호작용 시, 에이전트는 해당 임베딩을 검색하여 컨텍스트에 포함합니다.
여기서 아무도 아키텍처 다이어그램에 그리지 않는 것이 있습니다: 그 임베딩에 무엇이 포함되어 있는가 하는 점입니다.
만약 당신의 에이전트가 사용자의 의료 청구를 도와준다면, 메모리 시스템은 그들의 의료 기록에 관한 사실을 저장합니다. 만약 당신의 에이전트가 자산 관리 고객을 지원한다면, 고객의 포트폴리오, 위험 감수 성향, 재무 목표를 저장합니다. 만약 당신의 에이전트가 직원의 성과 검토를 처리한다면, 누가 누구에 대해 무엇을 말했는지를 저장합니다.
이 모든 데이터 — 개인적이고, 규제 대상이며, 민감한 데이터 — 가 이제 TTL (Time To Live)도 없고, 접근 제어 (access controls)도 없으며, 감사 로그 (audit log)도 없고, 삭제 메커니즘 (deletion mechanism)도 없는 상태로 벡터 스토어에 앉아 있습니다.

통제되지 않은 AI 메모리의 세 가지 실패 모드

1. 보존 정책 없음 — 데이터가 영원히 생존함
   기존의 AI 메모리 도구들은 기본적으로 만료 기한 없이 메모리를 저장합니다. 1년 차에 계정을 해지한 사용자의 데이터 — 잠재적으로 사회보장번호 (SSN), 진단명 또는 금융 식별자를 포함하는 — 가 3년 차에도 여전히 벡터 스토어에 남아 있게 됩니다.

GDPR 제17조는 EU 시민에게 삭제 권리(right to erasure)를 부여합니다. CCPA는 캘리포니아 거주자에게 삭제 권리를 부여합니다. HIPAA는 개인 건강 정보(PHI)의 보유 및 파기에 관한 구체적인 요구 사항을 가지고 있습니다. 오늘날 대부분의 AI 메모리 구현체에는 이러한 권리들을 준수할 수 있는 메커니즘이 전혀 없습니다.

2. 액세스 경계 부재 — 모든 에이전트가 모든 메모리를 읽음
   멀티 에이전트 시스템(multi-agent system)에서 어떤 에이전트가 어떤 메모리에 접근할 수 있을까요? 대부분의 구현체에서는 모든 에이전트가 접근 가능합니다. 스코핑(scoping), 격리(isolation), 권한 모델(permission model)이 존재하지 않습니다. 고객 지원 에이전트가 내부 인사(HR) 에이전트가 저장한 메모리를 읽을 수 있습니다. 이는 이론적인 공격 벡터(attack vector)가 아니라, 기본 상태(default state)입니다. 거버넌스가 적용된 AI 메모리는 인프라 계층에서 엄격한 액세스 경계를 강제합니다. 에이전트는 허용된 메모리로 스코핑됩니다. 해당 경계는 관례나 개발자의 규율이 아니라, 쿼리 시점(query time)에 강제됩니다.

3. 감사 추적(audit trail) 부재 — 무엇이 일어났는지 증명할 수 없음
   표준 AI 메모리 인프라에서는 누가, 언제, 어떤 맥락에서 무엇을 읽었는지에 대한 로그가 없습니다. 메모리 쓰기 및 삭제에 대한 불변의 기록(immutable record)도 없습니다. 규제 산업에서 이는 단순한 불편함이 아닙니다. 이는 자격 박탈 요건입니다. 의료 기관, 금융 서비스 기업, 법률 팀은 감사 추적 없이 작동하는 AI 에이전트를 배포할 수 없습니다.

"AI 메모리"와 "거버넌스가 적용된 AI 메모리"의 차이
이것은 미묘한 차이가 아닙니다. 아키텍처상의 구분입니다.

표준 AI 메모리: 저장(Store) → 검색(retrieve) → 그 안에 무엇이 있었는지 잊어버림(forget)

거버넌스가 적용된 AI 메모리: 저장(Store) → 개인정보(PII) 스캔 → 비식별화(redact) → TTL(Time-to-Live) 강제 → 액세스 제어(access-control) → 감사 로그(audit-log) → 정책 확인 후 검색(retrieve with policy check) → 삭제 증명 유지(retain deletion proof)

모든 메모리 작업은 거버넌스 계층을 통과합니다. 누군가 우회할 수 있는 미들웨어 계층으로서가 아니라, 아키텍처의 불변량(architectural invariant)으로서 존재합니다. 이것이 바로 Trace Continuity가 구축된 목적입니다. 거버넌스는 단순히 켜고 끌 수 있는 기능(feature)이 아닙니다. 그것은 핵심 프리미티브(core primitive)입니다. Trace Continuity를 통해서는 보유 정책(retention policy)이 설정되지 않은 상태로 메모리를 저장할 수 없습니다. 액세스 제어 확인(access control check)을 실행하지 않고는 메모리를 검색할 수 없습니다.

삭제 기록(log)을 남기지 않고는 그 어떤 것도 삭제할 수 없습니다. 이것이 현재 누구에게 중요한 문제일까요?

헬스케어 및 헬스테크 (Healthcare and healthtech): 환자 데이터를 처리하는 모든 AI 에이전트 — 접수 봇(intake bots), 임상 의사 결정 지원(clinical decision support), 케어 코디네이션 도구(care coordination tools) — 는 개인 건강 정보 (PHI)를 다룹니다. 거버넌스(governance)가 없는 AI 메모리 시스템은 HIPAA 호환이 불가능합니다. 이것은 논쟁의 여지가 없는 사실입니다.

금융 서비스 (Financial services): 자산 관리, 대출, 보험 — 이 모든 분야는 데이터 처리, 보존 및 감사(audit)에 관한 규제 요구 사항을 가지고 있습니다.

법무 및 컴플라이언스 팀 (Legal and compliance teams): 관련된 데이터는 특권(privileged)이 부여되며 민감하고, 종종 특정 보존 일정(retention schedules)의 적용을 받습니다.

유럽 고객을 보유한 엔터프라이즈 SaaS (Enterprise SaaS with European customers): EU 개인 데이터를 처리할 때마다 GDPR의 삭제 권리(right to erasure)가 적용됩니다.

앞으로 나아가야 할 방향
컴플라이언스(Compliance) 준수가 AI 개발 속도를 늦춰야 한다는 뜻은 아닙니다. 그것은 처음부터 올바른 인프라(infrastructure) 위에서 구축할 것을 요구합니다. 규제 대상인 AI 도입 분야에서 승리할 팀은 자신들의 시스템이 민감한 데이터를 올바르게 처리한다는 것을 단순히 주장하는 것이 아니라, 증명할 수 있는 팀입니다. 이는 다음을 의미합니다:

• 수동이 아닌 자동으로 강제되는 보존 정책 (Retention policies)
• 애플리케이션 코드(application code)가 아닌 인프라 계층(infrastructure layer)에서 정의된 액세스 경계 (Access boundaries)
• 변경 불가능하고(immutable) 쿼리 가능한(queryable) 감사 로그 (Audit logs)
• 침해 사고 발생 후가 아닌, 저장 전 단계에서 이루어지는 개인 식별 정보 (PII) 비식별화 (redaction)

그 대안, 즉 처음부터 고려되지 않은 AI 메모리 시스템에 컴플라이언스를 사후에 덧붙이는 방식이 바로 시한폭탄이 발생하는 지점입니다.

원문 출처: tracecontinuity.com