EvoMemBench: 자기 진화적 관점에서의 에이전트 메모리 벤치마킹

요약

LLM 에이전트의 핵심 요소인 메모리 능력을 평가하기 위해 자기 진화적 관점에서 설계된 통합 벤치마크 EvoMemBench를 제안합니다. 이 벤치마크는 메모리 범위와 내용이라는 두 가지 축을 기준으로 에이전트의 정보 저장, 업데이트 및 검색 능력을 체계적으로 분석합니다. 연구 결과, 현재의 메모리 시스템은 작업 유형에 따라 성능 차이가 크며 단일 솔루션으로 모든 상황을 해결하기 어렵다는 점을 시사합니다.

핵심 포인트

• EvoMemBench는 메모리 범위(에피소드 내/간)와 내용(지식/실행 지향)을 기준으로 에이전트 메모리를 평가합니다.
• 검색 기반(Retrieval-based) 방법론은 지식 집약적 작업에서 강점을 보입니다.
• 절차적 및 장기 메모리 방법론은 작업 구조와 일치하는 경험을 가질 때 실행 지향적 작업에서 효과적입니다.
• 긴 문맥(Long-context) 베이스라인은 여전히 강력한 경쟁력을 유지하며, 메모리는 문맥이 불충분하거나 작업이 어려울 때 유용합니다.