에이전트 메모리(Agent memory)에 대한 흔한 반론은 그것이 필요 없다는 것입니다. 이제 컨텍스트 윈도우(Context windows)가 매우 커졌으므로, 전체 이력을 프롬프트에 그냥 넣으면 된다는 것이죠. 우리는 막연한 느낌이 아닌 실제적인 답변을 원했기에, 두 가지 공개 장기 메모리(Long-term-memory) 벤치마크를 전체 컨텍스트 베이스라인(Full-context baseline)과 비교하여 실행했습니다. 베이스라인이 승리하는 경우를 포함하여 우리가 발견한 결과는 다음과 같습니다.

설정 (The setup)

우리는 동일한 질문에 대해 두 가지 구성을 비교했습니다. **전체 컨텍스트 베이스라인(Full-context baseline)**은 전체 대화 이력을 프롬프트에 집어넣습니다. **Eidentic 메모리(Eidentic memory)**는 이력을 4단계 엔진(Four-tier engine)으로 흡수하고 각 질문에 필요한 내용만 검색(Retrieve)합니다. 두 방식 모두 동일한 모델과 동일한 LLM 판정관(LLM judge)을 사용합니다. 우리는 샘플링 없이 전체 세트를 실행했으며, 승리와 패배를 모두 공개합니다.

LongMemEval: 모든 영역에서 메모리의 승리

LongMemEval은 긴 이력을 사용합니다. 약 50개의 세션과 500개의 질문에 걸쳐 대략 115k 토큰(Tokens)에 달합니다. 이곳은 메모리가 도움이 되어야 하는 지점이며, 실제로 도움이 됩니다. 전체 컨텍스트의 41.0% 대비 55.2%의 전체 정확도를 기록하며 14.2포인트 차이로 앞섰고, 6가지 질문 유형 모두에서 승리했습니다.

질문 유형	전체 컨텍스트 (Full context)	Eidentic 메모리 (Eidentic memory)
단일 세션 · 사용자 (Single-session · user)	67.1%	84.3%
...

비용 차이는 이야기의 나머지 절반을 차지합니다. 메모리는 검색된 컨텍스트 약 2,550 토큰으로 각 질문에 답합니다. 반면 베이스라인은 매번 전체 이력을 다시 읽는 데 약 99,435 토큰을 소비합니다. 즉, 더 높은 점수를 얻으면서도 토큰 사용량은 최대 ~39배 적게 사용합니다. 여기서 검색(Retrieval)은 단순히 더 정확할 뿐만 아니라, 극적으로 저렴합니다.

LoCoMo: 전체 컨텍스트가 여전히 승리하는 곳

LoCoMo는 훨씬 더 작은 건초더미(Haystack)를 가지고 있습니다. 전체 이력이 윈도우(Window) 안에 여유롭게 들어갈 때는 무차별 대입(Brute force) 방식이 깨뜨리기 어렵습니다. 모델이 모든 것을 한 번에 볼 수 있으며, 단일 홉(Single-hop) 및 다중 홉(Multi-hop) 질문에 검색이 필요하지 않기 때문입니다. 이 경우 전체 컨텍스트 베이스라인이 7.8포인트 앞서 나갑니다. 메모리는 여전히 훨씬 적은 토큰을 사용하지만(~893 vs ~19,030), 이력이 짧은 경우에는 그 트레이드오프(Trade-off)가 정확도 측면에서 이득을 주지 못합니다.

이력이 길어질수록 메모리(Memory)가 정확도와 비용 측면 모두에서 승리합니다. 짧은 이력에서는 전체 컨텍스트(Full Context)가 여전히 경쟁력을 유지합니다. 저희는 여러분이 단순히 유리한 수치뿐만 아니라 두 수치 모두를 알기를 바랍니다.

이것이 실무에서 의미하는 바

만약 에이전트(Agent)의 대화가 짧고 제한적이라면, 메모리 엔진이 전혀 필요하지 않을 수도 있으며 저희는 그 점을 알려드릴 것입니다. 하지만 이력이 매 턴마다 다시 읽기 위해 지불하고자 하는 비용을 넘어 커지는 순간, 검색 기반 메모리(Retrieval-based memory)는 두 가지 측면에서 승리합니다: 더 나은 답변, 그리고 훨씬 적은 토큰(Token) 사용량입니다. 이러한 교차점(Crossover)은 실제 제품에서 빠르게 나타납니다.

전체 방법론(Methodology), 하네스(Harness), 그리고 질문별 원시 기록(Raw per-question records)은 benchmarks 문서에 있으며, 러너(Runner)는 repo에 있습니다. 이를 재현해 보시고 저희가 틀린 부분이 있다면 알려주세요.