MemDelta: 에이전트 메모리 평가에서의 통제된 베이스라인 및 숨겨진 혼란 변수

에이전트 메모리 시스템(Agent memory systems)은 RAG 및 전체 컨텍스트(full-context) 베이스라인을 대상으로 점점 더 많이 평가되고 있지만, 보고된 성능 향상은 메모리 방법의 변화와 언어 모델(language model), 임베딩 모델(embedding model), 또는 검색 파이프라인(retrieval pipeline)의 변화가 혼재되어 있어 실제로 무엇이 측정되고 있는지 불분명한 경우가 많습니다. 우리는 LongMemEval-S(500개 질문, 50개 이상의 세션, 3개의 모델 제품군)에서 한 번에 하나의 구성 요소만을 변경하는 통제된 평가 프로토콜인 MemDelta를 제시합니다. 네 가지 주요 발견 사항이 도출되었습니다: (1) verbatim RAG는 full-context GPT-4o-mini와 유사한 성능을 보이지만(47.2% vs. 49.8%, p = 0.34), 모델 전반에 걸쳐 순위가 역전됩니다. 즉, Gemini는 full context 대비 +14pp의 이득을 얻는 반면, Sonnet은 RAG 대비 +31pp의 이득을 얻는데, 이는 부분적으로 Sonnet이 full-context 쿼리의 63%를 거부하기 때문입니다; (2) 동일한 파이프라인에서 임베딩 모델만 교체했을 때 n = 500에서 정확도가 +6.2pp 변화하며(p = 0.004), Mem0는 MiniLM-RAG를 +11pp 차이로 앞서지만 cloud-RAG에는 1.2pp 차이로 뒤처지므로, 단 하나의 변수가 결론을 뒤집을 수 있습니다; (3) 에이전트 자체 메모리(agent self-memory, 42%)는 기본적인 검색(basic retrieval, 47%)보다 성능이 낮습니다; (4) 6가지 질문 유형 중 2가지(n = 88)에서 Mem0는 50배의 비용으로 cloud RAG와 대등한 성능을 보였으며(72.7% vs. 73.9%, p = 1.0), 이는 일반적인 이득이라기보다 국소적인 이득임을 시사합니다. 우리는 메모리 평가 시 비교 대상 간의 임베딩 모델을 고정하고, 모델 제품군별로 계층화하며, 성능 향상을 아키텍처의 공으로 돌리기 전에 쓰기 경로 비용(write-path cost)을 보고할 것을 권장합니다.