최근 대규모 언어 모델 (LLM) 에이전트를 위한 벤치마크들은 주로 추론 (reasoning), 계획 (planning), 그리고 실행 (execution)을 평가합니다. 하지만 메모리 (memory) 또한 에이전트에게 필수적인데, 이는 에이전트가 시간이 지남에 따라 정보를 저장, 업데이트 및 검색할 수 있게 해주기 때문입니다. 이러한 능력은 기존 벤치마크들이 메모리 메커니즘을 평가할 체계적인 방법을 제공하지 못한다는 이유로 여전히 과소평가되고 있습니다. 본 논문에서 우리는 자기 진화적 (self-evolving) 관점에서 에이전트 메모리를 연구하며, 두 가지 축인 메모리 범위 (memory scope: 에피소드 내 (in-episode) vs. 에피소드 간 (cross-episode))와 메모리 내용 (memory content: 지식 지향적 (knowledge-oriented) vs. 실행 지향적 (execution-oriented))을 따라 구성된 통합 벤치마크인 EvoMemBench를 소개합니다. 우리는 표준화된 프로토콜 하에서 15개의 대표적인 메모리 방법론을 강력한 긴 문맥 (long-context) 베이스라인과 비교합니다. 결과에 따르면 현재의 메모리 시스템은 여전히 범용적인 솔루션과는 거리가 멉니다. 긴 문맥 (long-context) 베이스라인은 여전히 높은 경쟁력을 유지하며, 메모리는 현재의 문맥이 불충분하거나 작업이 어려울 때 가장 큰 도움이 되고, 단일한 메모리 형태가 모든 설정에서 일관되게 작동하지는 않습니다. 검색 기반 (Retrieval-based) 방법론은 지식 집약적 (knowledge-intensive) 설정에서 여전히 강력한 반면, 절차적 (procedural) 및 장기 메모리 (long-term memory) 방법론은 저장된 경험이 작업 구조와 일치할 때 실행 지향적 (execution-oriented) 작업에서 더 효과적입니다. 우리는 EvoMemBench가 LLM 기반 에이전트를 위한 더 효과적인 메모리 시스템에 관한 향후 연구를 촉진하기를 바랍니다. 우리의 코드는 https://github.com/DSAIL-Memory/EvoMemBench 에서 확인할 수 있습니다.