MEME: 다중 개체 및 진화하는 메모리 평가

요약

LLM 기반 에이전트가 여러 세션에 걸쳐 정보를 저장, 업데이트, 추론해야 하는 환경을 반영하여, MEME는 다중 개체 및 진화하는 메모리 공간을 포괄하는 여섯 가지 작업을 정의했습니다. 이 평가 결과, 모든 시스템은 기본 구성에서의 의존성 추론(Cascade 및 Absence)에서 성능 저하를 보였습니다. 이는 단순한 검색 성능만으로는 부족하며, 최적의 프롬프트 엔지니어링이나 강력한 LLM조차도 해결하기 어려운 근본적인 문제입니다.

핵심 포인트

• MEME는 다중 개체 및 진화하는 메모리 공간을 평가하는 6가지 작업을 정의하여 기존 벤치마크의 한계를 극복했습니다.
• 모든 테스트 시스템은 기본 구성에서의 의존성 추론(Cascade, Absence)에서 심각한 성능 저하를 보였습니다.
• 프롬프트 최적화나 강력한 LLM조차도 메모리 격차를 메우지 못했으며, 이는 근본적인 아키텍처 문제임을 시사합니다.
• 가장 나은 성능을 보인 시스템은 내부 LLM(Claude Opus 4.7)과 파일 기반 에이전트의 결합이었으나, 비용 효율성 측면에서 실용적이지 않습니다.