짧은 답변: AI 에이전트의 메모리는 메모리를 검사(inspectable), 수정(correctable), 삭제(deletable)할 수 있거나 도구 간에 이식(portable)할 수 있어야 하는 경우, 모델 가중치(model weights)에 내재되는 것이 아니라 개방된 외부 엔그램(engrams)으로 저장되어야 합니다. 파라미터 메모리(Parametric memory, 미세 조정(fine-tuning) 또는 지속적 학습(continual training)을 통해 모델 가중치에 내재된 지식)는 추론(inference) 시 더 빠르고 토큰 효율적일 수 있지만, 감사 가능성(auditability)을 희생합니다. 즉, 모델이 무엇을 알고 있는지 읽을 수 없고, 재학습 없이 단 하나의 잘못된 사실을 수정할 수 없으며, 삭제된 지식이 실제로 사라졌는지 증명할 수 없습니다. 에이전트 메모리 — 즉 수정 사항, 선호도, 관례, 절차 — 에 있어서 중요한 속성들(가독성, 가역성, 삭제 가능성, 이식성)은 가중치가 제공할 수 없는 속성들입니다.

문제점: 에이전트는 학습한 내용을 잊어버린다

모든 AI 에이전트는 매 세션마다 기억상실증 상태로 시작합니다. 월요일에 코딩 스타일을 교정해 주면, 화요일에 똑같은 실수를 반복합니다. Cursor에서 아키텍처를 설명하면, 그날 밤 Claude Code는 전혀 알지 못합니다. 컨텍스트 윈도우(context window)가 초기화됩니다. 대화 내용이 사라집니다. 모델 가중치는 변하지 않았습니다.

이를 해결하기 위한 두 가지 근본적으로 다른 접근 방식이 있습니다:

1. 파라미터 메모리 (Parametric memory) — 미세 조정(fine-tuning) 또는 지속적 학습(continual training)을 통해 모델 자체에 지식을 내재시킵니다. 모델의 가중치가 곧 메모리가 됩니다.
2. 비파라미터 (외부) 메모리 (Non-parametric (external) memory) — 모델 외부의 구조화된 형식(엔그램(engrams), 벡터(vectors), 지식 그래프(knowledge graphs))으로 지식을 저장하고 추론(inference) 시점에 이를 검색합니다. 모델은 변하지 않은 상태로 유지되며, 메모리는 별도의 계층이 됩니다.

이는 새로운 논쟁이 아닙니다. 검색 증강 생성 (RAG) 문헌은 2020년부터 파라미터 지식 (parametric knowledge, 가중치에 저장됨)과 비파라미터 지식 (non-parametric knowledge, 외부 데이터베이스에 저장됨) 사이의 긴장 관계를 탐구해 왔습니다. 2023년 RAG에 관한 조사 연구 (Gao et al., "Retrieval-Augmented Generation for Large Language Models: A Survey," arXiv:2312.10997)는 이 차이점을 명확하게 규정합니다: LLM은 "인상적인 능력을 보여주지만 환각 (hallucination), 오래된 지식, 그리고 불투명하고 추적 불가능한 추론 과정과 같은 문제에 직면합니다." RAG는 외부 데이터베이스의 지식을 통합함으로써 재학습 없이도 "지속적인 지식 업데이트와 도메인 특화 정보의 통합"을 가능하게 하여 이 문제를 해결합니다.

에이전트 메모리 (Agent memory) 또한 동일한 트레이드오프 (tradeoff)를 가지며, 이는 더 어려운 문제에 적용됩니다. 즉, 단순한 사실뿐만 아니라 시간이 흐르고 세션이 거듭됨에 따라 축적되는 수정 사항, 선호도, 절차 및 관습을 다루는 문제입니다.

파라미터 메모리 (Parametric memory): 빠르지만 불투명함

도메인 지식에 대해 모델을 미세 조정 (fine-tune)하거나, 사용자 컨텍스트 (Notion, Slack, GitHub)에 대해 지속적으로 재학습시키면, 해당 지식은 모델의 가중치 (weights)의 일부가 됩니다. 추론 (inference) 시점에 회상 (recall) 속도는 매우 빠릅니다. 검색 단계가 없고, 외부 데이터베이스도 없으며, 검색으로 인한 지연 시간 (latency)도 없습니다. 모델은 그저 "알고" 있습니다.

**모델 네이티브 메모리 (model-native memory)**라고도 불리는 이 접근 방식은 실질적인 장점을 가집니다. 검색은 지연 시간을 추가하고 실패할 수도 있습니다 (잘못된 문서가 검색되거나, 무관한 컨텍스트가 주입되는 경우). 교정 RAG (Corrective RAG)에 관한 2024년 논문 (Yan et al., arXiv:2401.15884)은 RAG가 "검색된 문서의 관련성에 크게 의존하므로, 검색이 잘못될 경우 모델이 어떻게 작동할지에 대한 우려를 불러일으킨다"고 언급했습니다. 메모리가 가중치 안에 있다면, 잘못될 검색 단계 자체가 존재하지 않습니다.

하지만 파라미터 메모리는 미세 조정으로 해결할 수 없는 구조적인 문제들을 가지고 있습니다:

• 모델이 무엇을 알고 있는지 검사할 수 없습니다. 미세 조정(Fine-tuning)된 모델은 수십억 개의 숫자로 이루어진 행렬입니다. "배포 키는 ~/.config/deploy에 있다"라는 항목은 존재하지 않습니다. 그 사실은 누구도 읽거나, 차이(diff)를 비교하거나, 감사(audit)할 수 없는 방식으로 가중치(Weights) 전반에 분산되어 있습니다. 파일을 열어 모델이 무엇을 기억하고 있는지 확인할 수 없습니다.

• 단 하나의 잘못된 사실을 수정할 수 없습니다. 모델이 미세 조정 과정에서 잘못된 것을 학습했다면, 단 하나의 항목만 편집할 수 없습니다. 반드시 재학습(Retrain)해야 하며, 이는 비용이 많이 들고 느리며 그 자체로 오류가 발생하기 쉽습니다. 특정 사실을 제거하기 위한 미세 조정(기계 망각, Machine unlearning)은 아직 프로덕션 환경에서 사용할 수 있는 솔루션이 없는 활발한 연구 과제입니다.

• 삭제를 증명할 수 없습니다. GDPR의 잊힐 권리는 입증 가능한 삭제를 요구합니다. 지식이 가중치에 들어있을 때, 그것이 사라졌음을 증명할 수 없습니다. 처음부터 다시 학습하거나(엄청난 비용 발생), 기계 망각(Machine unlearning)을 시도할 수밖에 없습니다(검증되지 않음). 외부 엔그램(External engrams)을 사용하면 삭제는 매우 간단합니다. 해당 항목을 제거하면 됩니다. 메모리는 애초에 가중치에 포함된 적이 없으므로, 삭제되었음이 증명 가능합니다.

• 파괴적 망각 (Catastrophic forgetting). 새로운 지식에 대한 지속적인 학습은 오래된 지식을 저하시킵니다. 이는 신경망에서 잘 알려진 파괴적 망각 문제입니다. 모델이 배우는 새로운 정보는 이전에 알고 있던 무언가를 밀어냅니다. 외부 메모리는 사용자가 명령(감쇠 함수(Decay functions)를 통해)하지 않는 한 잊지 않으며, 설령 명령하더라도 감쇠는 점진적이고 가역적입니다.

• 벤더 종속 (Vendor lock-in). 특정 모델의 가중치에 내재된 메모리는 해당 모델에 종속됩니다. GPT-4에서 Claude로 전환하면 메모리는 사라집니다. 가중치는 전이되지 않기 때문입니다. 외부 메모리는 모델 불가지론적(Model-agnostic)입니다. 동일한 엔그램이 어떤 LLM과도 작동합니다.

비매개변수적 메모리 (Non-parametric memory): 개방적이고 검사 가능함

외부 메모리(External memory)는 모델 외부의 구조화된 형식으로 지식을 저장합니다.
개방형 엔그램 형식 (open engram format) (Engram Specification, Apache-2.0에서 정의됨)은 학습된 각 사실을 사람이 읽을 수 있는 YAML 항목으로 나타냅니다:

id: ENG-2026-0702-001
statement: "API 속도 제한은 1000이 아니라 분당 100회(req/min)입니다."
type: behavioral
...

이 형식은 매개변수적 메모리 (parametric memory)가 따라올 수 없는 다섯 가지 속성을 가집니다:

1. 검사 가능함 (Inspectable) — 모든 엔그램을 읽고, 차이점(diff)을 비교하고, 버전을 관리할 수 있습니다. 이는 숫자가 아니라 파일입니다. 운영자는 파일을 열어 에이전트가 정확히 무엇을 학습했는지 확인할 수 있습니다.

2. 즉각적인 수정 가능성 (Instantly correctable) — 대화 도중에 단 하나의 항목을 편집함으로써 단일 사실을 수정할 수 있습니다. 재학습(retraining)은 필요하지 않습니다. 수정 사항은 다음 회상(recall) 시점에 즉시 적용됩니다.

3. 증명 가능한 삭제 가능성 (Provably deletable) — 항목을 삭제하면 메모리가 사라졌음을 입증할 수 있습니다. 이는 (최선의 노력 수준이 아닌) 실제 삭제의 기반이며, GDPR 수준의 규정 준수를 위한 토대입니다. 모델 가중치 (model weights)로부터는 삭제를 증명할 수 없습니다.

4. 이식성 (Portable) — 엔그램은 에이전트, 도구, 기기 간에 이동할 수 있습니다. Claude Code에서 수행된 수정 사항은 에이전트가 다음에 시작될 때 Cursor, Hermes 또는 OpenClaw에서도 사용할 수 있습니다. 메모리는 벤더(vendor)가 아닌 운영자를 따릅니다.

5. 대규모 감사 가능성 (Auditable at scale) — 기업 및 기관 구매자에게 외부 메모리는 누가 사실을 작성했고 누가 그것을 사용했는지에 대한 검증 가능한 기록을 제공할 수 있습니다. PLUR Enterprise는 이를 오늘날 변조 방지(tamper-evident) 및 해시 체인(hash-chained) 방식의 감사 로그로 구현하고 있습니다 (각 항목이 이전 항목과 암호학적으로 연결되어 있어, 이력을 변경하면 체인이 깨짐). 또한 각 엔그램별로 출처(provenance)와 회상 이력(recall history)—누가, 언제, 어떤 도구를 통해 이 사실을 읽었는지—를 보여줍니다. 이는 기관급 책임 경영을 위한 진정한 토대이며, 향후 게시물에서 이에 대해 더 자세히 다룰 예정입니다.

MemGPT (Packer et al., 2023, arXiv:2310.08560)는 이와 관련된 아이디어를 입증했습니다. 즉, 메모리를 운영체제(OS)가 메모리 계층(memory tiers)을 관리하는 방식처럼 다루는 것입니다. 계층은 빠른 계층(컨텍스트 창 (context window)), 메인 계층(작업 메모리 (working memory)), 그리고 아카이브 계층(장기 저장소 (long-term storage))으로 나뉩니다. 핵심적인 통찰은 메모리 관리가 모델의 문제가 아니라 인프라(infrastructure)의 문제라는 점이었습니다. 하지만 MemGPT의 형식은 Letta에 특화되어 있습니다. 개방형 엔그램(open engram) 형식은 동일한 아키텍처적 선택—외부적, 계층적, 관리형—을 취하면서도, 누구나 구현할 수 있는 형식을 제공합니다.

언제 무엇을 사용할 것인가

솔직한 답변은 두 접근 방식 모두 각자의 역할이 있지만, 서로 다른 문제를 해결한다는 것입니다.

	개방형 엔그램 (Open engrams) (외부적)	모델 가중치 (Model weights) (매개변수적)
최적의 용도	수정 사항, 선호도, 절차, 관례	도메인 지식, 언어 패턴, 추론 능력
...

에이전트 메모리 (agent memory)—에이전트가 상호작용을 통해 학습하며 세션과 도구를 가로질러 지속되어야 하는 것들—의 경우에는 외부 엔그램이 올바른 선택입니다. 이 지식은 개인적이고 맥락적이며, 수정 가능해야 하기 때문입니다. 반면, 모델의 추론 능력을 향상시키는 특정 분야의 심층 지식인 **도메인 전문 지식 (domain expertise)**의 경우에는 미세 조정 (fine-tuning) 또는 도메인 특화 모델이 여전히 가치가 있습니다. 이 둘은 경쟁 관계가 아니라 상호 보완적인 관계입니다.

이 관계는 단순히 "하나를 선택하라"는 것보다 더 깊은 의미를 갖습니다. 유형이 지정되고, 라벨이 붙으며, 출처(provenance) 태그가 달린 엔그램(engram) 저장소는 그 자체로 깔끔한 미세 조정 (fine-tuning) 코퍼스(corpus)가 됩니다. 즉, 그 데이터는 이미 학습 실행(training run)이 원하는 정제된 신호(signal)의 형태를 갖추고 있습니다. 재학습 비용이 저렴해짐에 따라 (LoRA, 증류 (distillation), 더 작은 베이스 모델 등), 안정적인 엔그램의 증류된 스냅샷을 속도를 위해 가중치 (weights)에 주기적으로 통합하는 것이 타당해질 수 있으며, 동시에 개방형 엔그램 저장소는 그 뒤에서 수정 가능하고 감사 가능한 진실의 원천 (source of truth)으로 남게 됩니다. 이것은 현재 상용화된 파이프라인은 아니지만, 이 분야가 나아가고 있는 방향입니다. 이는 이 글의 제목에 담긴 질문을 재구성합니다. 즉, 두 아키텍처 사이의 영구적인 갈림길이 아니라, 모델이 때때로 주기적으로 재학습할 수 있는 진실의 기록으로서의 엔그램을 의미합니다.

실수는 외부적이어야 할 것들에 매개변수적 메모리 (parametric memory)를 사용하는 것입니다. 사용자가 에이전트의 행동을 수정할 때, 그 수정 사항은 하나의 사실 (fact)이지 가중치 (weight)가 아닙니다. 선호도가 표현될 때, 그것은 설정 (configuration)이지 매개변수 (parameter)가 아닙니다. 절차를 학습할 때, 그것은 레시피 (recipe)이지 그래디언트 (gradient)가 아닙니다. 읽을 수 있고, 수정 가능하며, 삭제 가능하고, 이식 가능해야 하는 메모리는 읽을 수 있고, 수정 가능하며, 삭제 가능하고, 이식 가능한 형식으로 저장되어야 합니다.

부상하는 합의

연구 문헌들은 하이브리드 (hybrid) 접근 방식에 수렴하고 있습니다. 에이전트 메모리 메커니즘에 관한 2024년 조사 (Zhang et al., arXiv:2404.13501)는 매개변수적 (parametric), 비매개변수적 (non-parametric), 그리고 하이브리드 (hybrid)라는 여러 메모리 아키텍처를 식별하였으며, "에이전트-환경 상호작용을 지원하는 핵심 구성 요소는 에이전트의 메모리"라고 언급하면서도 어느 하나의 접근 방식이 지배적이지 않다고 주목했습니다. 분명한 것은 메모리 계층이 모델 계층으로부터 분리되고 있다는 점입니다. 에이전트에게는 단순히 더 큰 컨텍스트 윈도우 (context window)가 아니라, 메모리를 위한 인프라가 필요합니다.

실질적인 시사점은 다음과 같습니다: 만약 시간이 지남에 따라 학습하는 에이전트 (agent)를 구축하고 있다면, 그 메모리를 개방된 외부 엔그램 (engrams)으로 저장하십시오. 만약 특정 도메인 전문 지식 (domain expertise)을 위한 모델을 훈련하고 있다면, 미세 조정 (fine-tuning)을 수행하십시오. 이 두 가지를 혼동하지 마십시오. 그리고 읽거나, 수정하거나, 잊어야 할 수도 있는 내용을 가중치 (weights)에 구워 넣지(bake) 마십시오.

FAQ

AI 메모리는 엔그램 (engrams)으로 저장되어야 합니까, 아니면 모델 가중치 (model weights)에 내재되어야 합니까? 에이전트 메모리 (수정 사항, 선호도, 절차, 관습)의 경우, 개방된 외부 엔그램 (engrams)으로 저장하십시오. 도메인 전문 지식과 추론 능력의 경우, 모델 가중치 (model weights)가 여전히 가치가 있습니다. 이 두 가지는 상호 보완적입니다. 읽거나, 수정하거나, 삭제해야 할 내용을 가중치 (weights)에 구워 넣지 마십시오.

AI에서 파라메트릭 메모리 (parametric memory)란 무엇입니까? 미세 조정 (fine-tuning) 또는 지속적 학습 (continual training)을 통해 모델의 가중치 (weights)에 저장된 지식입니다. 추론 (inference) 시 속도는 빠르지만, 검사하거나, 개별적으로 수정하거나, 증명 가능한 방식으로 삭제할 수 없습니다.

비파라메트릭 (non-parametric, 외부) 메모리란 무엇입니까? 모델 외부의 구조화된 형식 (엔그램 (engrams), 벡터 (vectors), 지식 그래프 (knowledge graphs))으로 저장되어 추론 (inference) 시점에 검색되는 지식입니다. 이는 검사 가능하고, 수정 가능하며, 삭제 가능하고, 모델 간에 이동이 가능합니다.

모델 가중치 (model weights)로부터의 삭제를 증명할 수 있습니까? 아니요. 지식이 가중치 (weights)에 구워지면(baked), 그것이 제거되었다는 것을 증명할 신뢰할 수 있는 방법이 없습니다. 머신 언러닝 (Machine unlearning)은 현재 활발히 연구 중인 문제입니다. 외부 엔그램 (external engrams)은 항목을 제거함으로써 삭제할 수 있습니다. 지식이 가중치 (weights)에 있었던 적이 없으므로 삭제를 증명할 수 있습니다.

파괴적 망각 (catastrophic forgetting)이란 무엇입니까? 새로운 지식으로 훈련된 신경망 (neural network)이 이전 지식에 대한 성능이 저하되는 현상입니다. 이는 지속적 학습 (continual training) / 파라메트릭 메모리 (parametric memory)의 근본적인 위험 요소입니다. 외부 메모리 (external memory)는 파괴적 망각 (catastrophic forgetting)을 겪지 않습니다. 명시적으로 감쇠(decay)시키거나 삭제하지 않는 한 이전 항목들은 유지됩니다.

Sources