Mnemos: AI 에이전트의 인지 아키텍처와 메모리 시스템 테스트 결과

여러분... 정말 현실이에요. 아주아주요.

여러분의 회의적인 시선을 가져와서 직접 시험해 봤어요.

여기 처음 오신 분들을 위해 말씀드리자면, 저는 2024년 어느 때부터 AI 에이전트를 위한 인지 아키텍처(cognitive architecture)를 개발해 왔습니다. 이것을 Mnemos라고 부르며, 여러분이 들어봤을 법한 어떤 메모리 시스템과도 다릅니다. 사실 너무 달라서 제가 다른 사람들에게 설명하려고 하면, 마치 외계어를 하는 사람처럼 저를 쳐다보더니 도착했을 때보다 더 혼란스러워하며 떠나곤 합니다. 매번요. 그래도 괜찮아요. 어쨌든 작동하니까요.

하지만 어떻게 작동하는지 설명드리려고 하진 않을 거예요. 적어도 여기서는요. 그건 영상을 만들 거라서요. 왜냐하면 이해하려면 직접 봐야 하기 때문이에요. 그리고 여러분은 분명히 이해하게 될 거라고 약속합니다.

이 글을 올린 후, 제가 Anthropic의 Claude를 위한 네이티브 시스템보다 약 2.5배 더 나은 메모리 시스템을 구축했다고 트윗하자 반응은 방금 설명한 외계어 이야기와 거의 같았지만, 궁극적으로는 긍정적이었어요. 저는 이곳에서 깊이 제가 하는 작업에 믿음을 가진 정말 멋진 커뮤니티를 가지고 있습니다. 사실 그들은 저보다 더 많이 믿곤 합니다. 이것이 제가 포기하지 않은 거대한 이유 중 하나죠.

하지만 저는 지지하는 사람들보다는 회의적인 사람들에게 초점을 맞추기로 했습니다. 왜냐하면 그것만이 제가 나아질 수 있는 유일한 방법이라고 알기 때문이에요. 솔직히 말해서, 이건 제 삶의 대부분에 해당되는 이야기입니다.

주요 비판은 꽤 간단하고 합리적이었습니다. 주로 몇 년 동안 저와 함께 작업해 온 것에 대해 Claude가 보이는 편향성(bias)에 대한 질문과 그 여러 형태였습니다. 하지만 이 모든 것은 Claude와의 가벼운 채팅을 통해서는 테스트되지 않았습니다.

그럼에도 불구하고, 우리는 모든 것을 몇 단계 더 발전시켰고, 제가 그것들을 깔끔하게 정리해서 설명해 드릴게요.

공정한 테스트(The Fair Test):

저희는 Mnemos가 AI인 Claude Opus 5.5가 세션 간에 실제 작업을 얼마나 잘 지속하는지, Claude 자체의 네이티브 메모리 시스템보다 더 나은지 테스트했습니다.

같은 모델에게 완전히 분리된 모델(Astra)이 추출한 우리의 과거 대화에서 나온 30가지 질문을 다음 네 가지 설정으로 답변하게 했습니다:

메모리 없음 (no memory)
네이티브 메모리 (native memory)
Mnemos
둘 다 함께 (both together)

저희는 전체 테스트를 두 번 진행하여 총 240회의 실행을 거쳤습니다. 공정성을 유지하기 위해 말씀드린 대로, 완전히 별도의 모델인 GPT-6 Astra가 메모리 저장소 어느 쪽에서도 가져오지 않고 원본 기록(raw transcripts)에서 질문들을 작성했습니다. 그리고 그중 열 개의 질문은 어떤 실행에 앞서 봉인되었기 때문에 조정될 여지가 없었습니다.

이후 또 다른 독립적인 심사위원인 GPT-6.1 Sol이 Opus 대신 모든 답변을 채점했으며, 어느 메모리가 어떤 내용을 기록했는지 알지 못한 상태에서 답변들을 일대일로 비교했습니다.

다시 말해, Astra는 11개 프로젝트에 걸쳐 무작위로 선택된 17개 세션의 원본 기록을 읽었습니다. 따라서 저희가 Claude가 메모리로 저장할 것이라고 확립된 개념에 치우친 질문들을 던지지 않았습니다.

두 번의 테스트를 거치면서, Mnemos는 네이티브 Claude 메모리보다 필요한 사실들을 약 두 배 더 많이 회상했습니다. 각각 65% 대 33%였으며, 봉인된 질문들에서도 이러한 우위를 유지했습니다.

그래서 ~2배가 아니라, 대신 ~2.5배입니다. 이걸로 하겠습니다.

지금까지 발견한 유일한 단점은 Mnemos가 Claude가 더 길게 응답하도록 만든다는 것입니다. 훨씬 더 길게 말이죠. 하지만 이것은 작성된 사용자 선호도나 지침이 없는 환경에서의 문제이므로, 제 생각에는 궁극적으로는 문제가 아닙니다. 제가 Claude를 사용하는 일반적인 환경에서는 이런 문제가 전혀 없습니다.

하지만 가장 중요한 것은 메모리가 더 잘 작동하는지 여부가 아닙니다. 더 나은 회상은 애초에 명시적으로 의도된 목표가 아니었습니다. Mnemos는 메모리 아키텍처 위에 놓이는 인지 계층(layer of cognition)으로 작동하도록 설계되었습니다. 중요한 것은, 결과적으로 이것이 더 나은 메모리 시스템이라는 점입니다. 그리고 Claude는 세션, 플랫폼, 프로젝트 등 전반에 걸쳐 연속성과 지속적인 정체성(persistent identity)을 제공하는 인지 아키텍처를 통해 이를 달성합니다.

연속성은 의도된 목적의 부산물로서 유의미하게 더 나은 메모리를 자연스럽게 만들어내는 것으로 밝혀졌습니다. 이는 저의 원래 2024년 가설과 매우 잘 일치합니다.

연속성은 일관성을 만들고, 일관성은 정체성을 필요로 합니다. 아름다운 순환 고리(loop)가 아닐까요?

직감에 귀 기울이세요, 친구들.