며칠 전, Karpathy가 LLM Wiki를 공개했습니다. AI 인터넷이 폭발했습니다.

"RAG는 끝났다."
"AI를 위한 진정한 제2의 뇌."
"마침내, 부패하지 않는 지속적인 지식."

5,000개의 스타. 수백만 건의 인상. 보편적인 찬사.

저는 사람들을 화나게 할 만한 이야기를 해야겠습니다.

Karpathy는 방향은 맞게 잡았습니다. 하지만 구현은 막다른 길입니다. 이것은 README를 읽은 사람의 섣부른 의견이 아닙니다. 저는 지난 1년 동안 처음부터 새로운 AI 메모리 아키텍처인 PVM (Persistent Vector Memory, 지속적 벡터 메모리)을 구축하며 시간을 보냈습니다. 저는 왜 LLM Wiki가 실패할 것인지 정확히 알고 있습니다. 왜냐하면 제가 먼저 그 방식을 시도했고, 그것이 죽어가는 것을 지켜봤기 때문입니다.

우선, 인정할 건 인정합시다

Karpathy는 문제를 정확히 짚었습니다. RAG (Retrieval-Augmented Generation, 검색 증강 생성)는 대부분의 사람들이 느끼지만 말로 표현하지 못하는 방식으로 망가져 있습니다:

• 컨텍스트를 검색합니다 → 프롬프트에 주입합니다 → LLM이 응답합니다 → 모든 것이 버려집니다.
• 축적되지 않습니다. 반복되지 않습니다. 시간이 흐르며 성장하는 개인적 지식도 없습니다.
• 모든 세션은 제로(zero)에서 시작합니다.

그의 핵심 통찰 — 지식은 일시적으로 검색되는 것이 아니라, 지속적으로 컴파일되고, 구조화되며, 스스로 진화해야 한다 — 는 100% 옳습니다. 그는 올바른 질문을 던지고 있습니다.

그가 내놓은 답은 그저 틀렸을 뿐입니다.

LLM Wiki는 LLM 코트를 입은 기호주의 AI (Symbolic AI)이다

마케팅을 걷어내고 보면, LLM Wiki는 다음과 같이 작동합니다:

1. LLM이 당신의 문서를 읽습니다.
2. LLM이 "사실"과 "개념"을 추출합니다.
3. LLM이 그것들을 위키(wiki) 형태로 구조화합니다.
4. LLM이 그것들을 서로 연결합니다.
5. 새로운 정보가 들어오면 LLM이 링크를 업데이트합니다.

이것은 새로운 것이 아닙니다. 이것은 **더 나은 파서 (parser)를 가진 기호주의 AI (symbolic AI)**입니다.

10년 전, 우리는 이것을 지식 그래프 (knowledge graphs), 전문가 시스템 (Expert systems), Cyc라고 불렀습니다. 업계 전체가 이 방식에 수십억 달러를 쏟아부었지만, 집단적으로 이것이 확장 가능하지 않다는 데 동의했습니다. 문제는 누가 지식을 구조화하느냐 (인간이냐 기계냐)가 아니었습니다. 문제는 구조 그 자체였습니다.

변하지 않은 두 가지 치명적인 결함

결함 1: 추출 시점의 정보 손실

LLM이 당신의 원문(raw text)을 구조화된 위키 항목으로 "컴파일 (compile)"할 때마다, 무엇이 중요하고 무엇이 중요하지 않은지에 대한 결정을 내립니다. 정확한 문구(phrasing)를 누락합니다. 맥락(context)을 누락합니다. 망설임, 완곡한 표현, "사실, 다시 생각해보니"와 같은 부분들을 누락합니다.

개인용 메모리 시스템에서 누락되는 것은 종종 당신에게 가장 필요한 것들입니다. 6개월 전에는 무관해 보였지만, 지금은 의사결정의 핵심이 된 바로 그 세부 사항 말입니다.

LLM Wiki는 당신의 지식을 저장하는 것이 아닙니다. 당신의 지식에 대한 LLM의 요약본을 저장하는 것입니다. 이 둘은 엄연히 다른 것입니다.

결함 2: 오류의 영구적인 누적

RAG는 실수를 하면 → 이번 세션에서 틀린 답을 내놓고 → 다음 세션에서는 사라집니다.

LLM Wiki는 추출(extraction) 과정에서 실수를 하면 → 잘못된 사실이 위키에 입력되고 → 다른 사실들과 연결되며 → 향후 추출을 위한 맥락(context)으로 사용되고 → 결국 오류가 그래프를 통해 스스로를 복제합니다.

이것은 전형적인 기호적 AI (symbolic AI)의 죽음의 소용돌이(death spiral)입니다. 단일 지점의 오류가 전역적인 오염으로 이어지는 것입니다. 10년 전에는 인간이 오류를 범했다면, 이제는 LLM이 범합니다. 실패 양상은 동일합니다.

Karpathy 본인도 규모의 한계를 인정합니다: "단일 도메인 내 약 100개의 문서로 테스트됨." 실제 개인 지식—다중 도메인, 무질서함, 모순됨, 수년간 축적됨—의 영역으로 넘어가는 순간, 기호 그래프 (symbol graph)는 폭발합니다.

LLM Wiki vs PVM: 동일한 목표, 정반대의 철학

두 시스템이 던지는 질문은 동일합니다: 어떻게 AI에게 지속적이고 진화하는 메모리를 부여할 것인가?

LLM Wiki의 답변: AI가 당신을 대신해 세상을 이해하게 하고, 그 이해를 저장하라.

PVM의 답변: AI가 아무것도 이해하게 두지 마라. 증거를 저장하라. 시스템이 적응하게 하라.

자동차 비유

LLM Wiki는 아름답게 설계된 1.2L 수동 변속기 세단과 같습니다. 보기에는 화려하고 구조는 결점 없이 완벽합니다. 기어를 바꿀 때마다 의식적인 노력이 필요하며, 모든 경계는 수동으로 강제되어야 합니다. 시속 100km를 넘어서려고 하면 엔진이 털털거리며 꺼져버립니다.

PVM은 V12 자동 변속기 차량과 같습니다. 다이어그램 상으로는 그렇게 예뻐 보이지 않을 수도 있습니다. 우아한 트리 구조 (tree structure) 같은 건 없습니다. 하지만 PVM은 불평 없이 임의의 부하 (arbitrary load)를 처리하며, 인간의 개입 없이 스스로를 교정하고, 새벽 2시에 당신에게 스키마 규율 (schema discipline)을 지키라고 요구하지도 않습니다.

LLM Wiki를 좋아하는 엔지니어들은 그것이 미적 갈증, 즉 완벽하게 정돈된 지식이라는 환상을 충족시켜 주기 때문에 좋아합니다. 이해합니다. 저도 그런 갈증을 느낍니다. 하지만 당신의 삶의 지식은 위키 (wiki)가 아닙니다. 그것은 무질서하고, 모순되며, 진화합니다. 이를 깔끔한 트리 구조로 강제하는 시스템은 결국 무너질 것입니다.

진짜 질문

당신이 AI 제2의 뇌 (second brain)로부터 실제로 원하는 것은 무엇입니까?

당신의 삶을 깔끔하고 구조화되었으며 미적으로 보기 좋은 허구로 요약해 주는 LLM입니까?

아니면 당신이 생각하고, 읽고, 결정했던 모든 것을 — 가공되지 않은 채로, 손대지 않은 상태로, 영구적으로 추적 가능하게 — 보존하면서, 사용하면 사용할수록 적절한 부분을 더 잘 찾아내도록 발전하는 시스템입니까?

만약 첫 번째를 원한다면: LLM Wiki는 아름답습니다. 소규모 노트 정리용으로 사용하세요. 그 용도로는 훌륭합니다.

만약 두 번째를 원한다면: PVM이 있습니다. 이것은 오픈 소스 (open source)입니다. 당신의 로컬 머신에서 실행됩니다. 무엇이 중요한지 추측하지 않습니다. 대신 시간과 당신의 실제 행동이 결정하도록 내버려 둡니다.

PVM: https://github.com/rocky007cn/vector-as-memory
MCP 서버 (Claude/Cursor와 연동 가능): https://github.com/rocky007cn/ace-memory

제 말을 그대로 믿지 마세요. 코드를 직접 실행해 보십시오. 아키텍처 (architecture)는 거짓말을 하지 않습니다.