우리는 에이전트 네이티브 메모리 시스템(Agent-Native Memory System)을 맞이할 준비가 되었는가?

대규모 언어 모델 (LLM) 에이전트를 위한 메모리는 단순한 검색 증강 (Retrieval-Augmented) 메커니즘에서 에이전트 실행 전반에 걸쳐 지속적인 정보 저장, 검색, 업데이트, 통합 및 동적 라이프사이클 거버넌스를 지원하는 데이터 관리 시스템으로 빠르게 진화했습니다. 이러한 진화에도 불구하고, 기존의 평가 방식은 여전히 에이전트 메모리를 주로 엔드투엔드 (End-to-End) 작업 성공 지표(예: F1, BLEU)를 통해 벤치마킹하며, 기반 시스템을 하나의 거대한 블랙박스 (Black Box)로 취급합니다. 그 결과, 운영 비용, 메모리 모듈 간의 아키텍처 트레이드오프 (Architectural Trade-offs), 동적 지식 업데이트 하에서의 견고성(Robustness)을 포함한 중요한 시스템 수준의 문제들이 충분히 탐구되지 않은 상태로 남아 있습니다. 본 논문에서는 데이터 관리 관점에서 에이전트 메모리에 대한 체계적인 실험적 연구를 제시합니다. 우리는 에이전트 메모리를 메모리 표현 및 저장 (Memory Representation and Storage), 추출 (Extraction), 검색 및 라우팅 (Retrieval and Routing), 그리고 유지 관리 (Maintenance)의 네 가지 핵심 모듈로 분해하는 분석 프레임워크를 제안합니다. 이 프레임워크 하에서, 우리는 11개의 데이터셋에 걸친 5개의 벤치마크 워크로드에 대해 12개의 대표적인 메모리 시스템과 2개의 참조 베이스라인을 평가합니다. 광범위한 엔드투엔드 평가 결과, 모든 시나리오를 지배하는 단일 아키텍처는 없으며, 대신 효과성은 메모리 구조가 워크로드의 병목 현상과 얼마나 잘 일치하는지에 크게 좌우된다는 것을 보여줍니다. 또한, 세밀한 어블레이션 연구 (Ablation Studies)를 통해 표현 충실도 (Representation Fidelity), 검색 정밀도 (Retrieval Precision), 업데이트 정확성 (Update Correctness), 그리고 장기 안정성 (Long-horizon Stability)에 미치는 개별적인 영향을 정량화합니다. 마지막으로, 실제 워크로드 하에서의 비용 대비 성능 트레이드오프를 밝혀내며, 국소적 유지 관리 (Localized Maintenance)가 전역적 재구성 (Global Reorganization)보다 비용 효율적임을 보여줍니다. 이러한 발견을 바탕으로, 우리는 진정한 에이전트 네이티브 메모리 시스템을 구축하기 위한 유망한 방향을 식별합니다. 코드는 https://github.com/OpenDataBox/MemoryData 에서 공개적으로 사용할 수 있습니다.