메모리 시스템은 AI 에이전트가 상호작용 전반에 걸쳐 정보를 유지(persist)할 수 있게 하여, 더 개인화되고 장기적인 작업(long-horizon tasks)에서 더 많은 능력을 갖추게 합니다. 이러한 지속성(persistence)은 새로운 위험을 초래합니다. 저장된 정보가 부적절한 상황에서 공개될 수 있고, 수정이나 삭제에 저항할 수 있으며, 사용자가 원하는 것 이상으로 유지되거나, 나중 에이전트의 행동에 영향을 미치기 위해 오염(poisoned)될 수 있습니다.
그러나 메모리 시스템은 일반적으로 작업 성능(task performance)과 효율성(efficiency)만으로 평가됩니다. 우리는 대신 메모리 시스템을 사용자의 지속적인 정보의 수호자(custodian)로 이해해야 하며, 그 책임이 에이전트가 작업을 완료하도록 돕는 것을 넘어 확장되어야 하고, 모든 이러한 책임에 대해 총체적으로(holistically) 평가되어야 한다고 주장합니다. 우리는 이 방식으로 에이전트 메모리 시스템을 평가하기 위한 오픈 소스 프레임워크인 Holistic Evaluation of Agent Memory Systems (HEAMS)를 제시합니다.
첫째, 우리는 성능(performance), 효율성(efficiency), 보안(security), 프라이버시(privacy), 사용자 주권(user sovereignty)을 아우르는 명확한 행동적 바람직 조건(behavioural desiderata)으로서 에이전트 메모리 시스템의 책임을 명시합니다. 둘째, 우리는 이러한 바람직 조건을 포괄하는 벤치마크 스위트(benchmark suite)를 구성하고 남아있는 격차(gaps)를 인정합니다. 셋째, 우리는 프로토타입 메모리 시스템인 MilaMem과 모든 메모리 시스템을 감쌀 수 있는 거버넌스 레이어(governance layer)를 개발하여, 메모리 시스템 설계 선택에 대한 통제된 연구를 가능하게 합니다. 넷째, 우리는 전체 HEAMS 벤치마크 스위트에서 메모리 시스템들을 비교합니다.
우리는 어떤 메모리 시스템도 모든 성능 벤치마크에서 선두를 차지하지 못하며, 높은 성능 점수가 낮은 프라이버시, 사용자 주권, 보안 점수와 공존할 수 있다는 것을 발견했습니다. 거버넌스는 결과에 강하게 영향을 미칩니다. 회상 정책(recall policies)은 도움 정도(helpfulness)를 희생하는 대가로 부적절한 공개를 줄일 수 있는 반면, 회상 및 유지 정책 모두 오염 저항성(poisoning resistance)을 향상시킵니다. 따라서 성능 및 효율성 벤치마크만으로는 메모리 시스템이 자신의 책임을 얼마나 잘 이행하는지 밝혀낼 수 없습니다.
Code: https://github.com/milatechtransfer/heams