대부분의 AI 인프라 논의는 모델에 집중되어 있습니다

GPT-5 대 Claude.
오픈 소스 (Open-source) 대 독점 모델 (Proprietary).
더 큰 컨텍스트 윈도우 (Context windows).
더 저렴한 추론 (Inference).

하지만 역사는 인프라 계층이 모델의 개선만보다 더 많은 가치를 창출한다는 것을 반복해서 보여줍니다.

데이터베이스 (Databases)는 현대적인 웹 애플리케이션을 가능하게 했습니다.

클라우드 컴퓨팅 (Cloud computing)은 SaaS를 가능하게 했습니다.

벡터 데이터베이스 (Vector databases)는 RAG를 가능하게 했습니다.

다음 인프라 계층이 바로 지금 등장하고 있습니다: 메모리 (Memory).

하지만 대부분의 사람들이 생각하는 그런 종류의 메모리가 아닙니다.

상태가 없는 지능의 종말 (The End of Stateless Intelligence)
1세대 AI 애플리케이션은 프롬프트 (Prompts)를 기반으로 구축되었습니다.

2세대 AI 애플리케이션은 검색 증강 생성 (Retrieval-Augmented Generation, RAG)을 기반으로 구축되었습니다.

3세대 AI 애플리케이션은 메모리 (Memory)를 기반으로 구축되고 있습니다.

하지만 오늘날 대부분의 기업이 "메모리"라고 부르는 것은 종종 챗봇에 연결된 벡터 데이터베이스 (Vector database)인 경우가 많습니다.

대화 저장.
임베딩 (Embeddings) 생성.
유사한 청크 (Chunks) 검색.

이는 개인화 (Personalization)를 개선하지만, 시간이 지남에 따라 진화하는 지능을 만들어내지는 못합니다.

진정으로 자율적인 에이전트 (Autonomous agent)는 검색 (Retrieval) 그 이상의 것이 필요합니다.

경험을 기억하고, 절차를 학습하며, 신념을 업데이트하고, 지속적으로 개선할 수 있는 능력이 필요합니다.

이를 위해서는 인지적 인프라 계층 (Cognitive infrastructure layer)이 필요합니다.

RAG가 충분하지 않은 이유
RAG는 LLM의 컨텍스트 윈도우 (Context window)를 넘어선 외부 지식에 접근한다는 중요한 문제를 해결했습니다.

그 아키텍처 (Architecture)는 우아합니다:

쿼리 (Query) → 검색 (Retrieval) → 컨텍스트 주입 (Context Injection) → 생성 (Generation)

문서, 매뉴얼, 그리고 기업 지식 베이스 (Knowledge bases)의 경우, 이 방식은 매우 효과적으로 작동합니다.

하지만 메모리 (Memory)는 검색 (Retrieval)과 근본적으로 다릅니다.

다음 두 가지 사례를 고려해 보십시오:

사실 (Fact)
"사용자는 PostgreSQL을 선호함."

경험 (Experience)
"사용자는 복제 지연 (Replication lag)이 운영 사고를 일으킨 후 MySQL에서 PostgreSQL로 마이그레이션함."

첫 번째는 지식 (Knowledge)입니다.

두 번째는 이력 (History)입니다.

진정한 지능은 이력 (History)에서 나타납니다.

인간은 단순히 사실을 검색하기만 하지 않습니다. 우리는 경험으로부터 배우고, 패턴을 식별하며, 신념을 형성하고, 행동을 수정합니다.

오늘날 대부분의 AI 시스템은 여전히 이러한 능력 없이 작동하고 있습니다.

부상하는 메모리 스택 (The Emerging Memory Stack)
연구자들과 엔지니어링 팀들은 점점 더 세 가지 계층의 메모리 아키텍처 (memory architecture)로 수렴하고 있습니다.

의미론적 메모리 (Semantic Memory)
사실과 지속적인 지식을 저장합니다.

예시:

• 사용자는 Python을 선호함
• 조직은 AWS를 사용함
• 속도 제한 (Rate limit)은 분당 500회 요청임

의미론적 메모리는 다음 질문에 답합니다:

"무엇이 사실인가?"

일화적 메모리 (Episodic Memory)
경험과 이벤트를 저장합니다.

예시:

• 사용자가 추천 A를 거부함
• 금요일에 프로덕션 배포 (Production deployment)가 실패함
• 고객이 지원 티켓 (support ticket)을 에스컬레이션함

일화적 메모리는 다음 질문에 답합니다:

"무슨 일이 일어났는가?"

그리고

"왜 일어났는가?"

이 부분이 현재 대부분의 AI 시스템이 여전히 취약한 지점입니다.

절차적 메모리 (Procedural Memory)
학습된 행동을 저장합니다.

예시:

• 배포 워크플로 (Deployment workflows)
• 고객 온보딩 (Customer onboarding) 프로세스
• 장애 대응 (Incident response) 절차

절차적 메모리는 에이전트 (agents)가 동일한 문제를 매번 처음부터 반복해서 푸는 대신, 경험으로부터 개선할 수 있게 합니다.

이 지점에서 에이전트는 단순한 도구에서 협업자로 전환되기 시작합니다.

진정한 과제는 저장이 아닙니다
메모리에 관한 대부분의 논의는 저장 기술 (storage technologies)에 집중되어 있습니다.

• 벡터 데이터베이스 (Vector databases)
• 그래프 데이터베이스 (Graph databases)
• SQL 데이터베이스 (SQL databases)

저장이 병목 현상 (bottleneck)이 아닙니다.

검색 (Retrieval)과 추론 (reasoning)이 병목입니다.

Medium 멤버가 되기
에이전트의 메모리가 성장함에 따라 세 가지 문제가 나타납니다:

메모리 관련성 (Memory Relevance)
의미론적 유사성 (Semantic similarity)이 관련성 (relevance)과 동일한 것은 아닙니다.

가장 유사한 메모리가 가장 유용한 메모리는 아닌 경우가 많습니다.

문맥 (Context), 최신성 (recency), 인과관계 (causality), 그리고 사용자 의도 (user intent)가 모두 중요합니다.

메모리 충돌 (Memory Conflicts)
에이전트가 다음과 같이 기억할 때 어떤 일이 발생할까요:

"회사는 AWS를 사용함"

그리고 6개월 후에 다음과 같이 기억한다면:

"회사가 GCP로 마이그레이션함"

신념 수정 (belief revision)이 없다면, 두 정보 모두 영원히 사실로 남게 됩니다.

인간은 지속적으로 신념을 업데이트합니다.

대부분의 메모리 시스템은 단순히 정보를 축적할 뿐입니다.

메모리 규모 (Memory Scale)
지속적으로 작동하는 엔터프라이즈 에이전트 (Enterprise agents)는 연간 수백만 개의 메모리를 생성할 수 있습니다.

모든 메모리가 동일한 중요성을 가질 수는 없습니다.

미래의 시스템에는 다음이 필요합니다:

Hot memory (핫 메모리)
Warm memory (웜 메모리)
Cold memory (콜드 메모리)
Archived memory (아카이브 메모리)
이 아키텍처는 전통적인 데이터베이스 (Database)보다는 컴퓨터 메모리 계층 구조 (Memory hierarchies)를 점점 더 닮아가고 있습니다.

메모리 그 자체는 목적지가 아닙니다
업계에서는 종종 대화를 다음과 같은 방식으로 구성합니다:

“에이전트 (Agent)에 어떻게 메모리를 추가할 것인가?”

더 중요한 질문은 다음과 같습니다:

“에이전트가 어떻게 메모리를 전문 지식 (Expertise)으로 변환할 것인가?”

인간의 지능은 공고화 (Consolidation) 과정을 통해 나타납니다.

우리는 수천 개의 사건을 경험합니다.

하지만 그중 교훈만을 기억합니다.

예를 들어:

가공되지 않은 메모리 (Raw memories):

티켓 #193 해결됨
티켓 #194 해결됨
티켓 #195 해결됨

공고화된 지식 (Consolidated knowledge):

“인증 문제는 만료된 OAuth 자격 증명으로 인해 빈번하게 발생한다.”

이 과정은 경험을 전문 지식으로 변환합니다.

미래의 에이전트 시스템은 반드시 이 변환을 지속적으로 수행해야 합니다.

그렇지 않으면 메모리는 단순히 비용만 많이 드는 아카이브 (Archive)가 될 뿐입니다.

인지 인프라 (Cognitive Infrastructure)의 부상
차세대 AI 시스템은 아마도 다음 요소들을 결합할 것입니다:

Semantic memory (의미론적 메모리)
Episodic memory (일화적 메모리)
Procedural memory (절차적 메모리)
Temporal reasoning (시간적 추론)
Knowledge graphs (지식 그래프)
Belief revision systems (신념 수정 시스템)

이 구성 요소들은 함께 '인지 인프라 (Cognitive infrastructure)'라고 설명할 수 있는 것을 형성합니다.

에이전트는 문서를 검색하는 대신 경험을 검색할 것입니다.

에이전트는 대화를 저장하는 대신 이해를 구축할 것입니다.

에이전트는 질문에 답하는 대신 전문 지식을 축적할 것입니다.

이러한 변화는 이미 시작되었습니다.

Trinetra Labs에서 Hystersis를 구축하는 동안, 우리는 에이전트 아키텍처 전반에서 반복되는 과제를 관찰했습니다. 바로 검색 (Retrieval)만으로는 장기 실행되는 자율 시스템 (Autonomous systems)에 불충분하다는 점이었습니다.

문제는 정보를 찾는 것이 아니었습니다.

문제는 컨텍스트 (Context)를 보존하고, 이력을 바탕으로 추론하며, 시간에 따른 변화를 이해하고, 에이전트가 이전의 상호작용으로부터 학습할 수 있도록 하는 것이었습니다.

그 깨달음은 우리가 메모리를 단순한 기능 (Feature)이 아닌 인프라 (Infrastructure)로 바라보게 만들었습니다.

추론 (Reasoning)과 실행 (Execution) 사이에 위치하는 인프라 계층 말입니다.

에이전트가 매 대화마다 처음부터 다시 시작하는 대신, 진화할 수 있도록 하는 인프라 계층 말입니다.

승리하는 기업은 메모리(Memory)를 소유할 것입니다
지난 10년 동안 소프트웨어 기업들은 인터페이스(Interface)를 두고 경쟁했습니다.

오늘날 AI 기업들은 모델(Model)을 두고 경쟁합니다.

다음 10년은 메모리 인프라(Memory Infrastructure)를 소유한 기업들의 시대가 될 수 있습니다.

결국 모든 프런티어 모델(Frontier Model)은 접근 가능해질 것이기 때문입니다.

모든 조직이 강력한 추론(Reasoning) 능력을 사용할 수 있게 될 것입니다.

어려운 과제로 남을 것은, 이러한 시스템들이 수개월 또는 수년에 걸쳐 지식을 축적할 수 있도록 하는 것입니다.

미래는 에이전트가 어떤 모델을 사용하는지에 의해 정의되지 않을 것입니다.

에이전트가 무엇을 기억하는지에 의해 정의될 것입니다.

그리고 더 중요한 것은, 에이전트가 무엇을 학습하는가입니다.

인지 메모리 인프라(Cognitive Memory Infrastructure)에 대해 더 자세히 알아보려면 https://hystersis.com을 방문하세요.