STALE: Can LLM Agents Know When Their Memories Are No Longer Valid?

대규모 언어 모델 (Large Language Model, LLM) 에이전트는 일관된 장기적 개인화된 메모리를 유지할 것으로 점점 더 기대받고 있으나, 현재 벤치마크는 주로 정적 사실 검색을 측정하여 새로운 증거가 등장했을 때 저장된 신념을 수정하는 능력을 간과하고 있습니다. 우리는 명시적 부정 없이 후속 관찰이 초기 메모리를 무효화하는 중요한 과소 연구된 실패 모드인 Implicit Conflict(명시적 충돌)를 식별했습니다. 이를 감지하기 위해서는 문맥 추론과 일반적 추론 (commonsense reasoning) 이 필요합니다. 이를 엄밀하게 평가하기 위해 우리는 100 개 이상의 일상 주제를 다루며 맥락이 최대 150K 토큰까지 포함되는 400 개의 전문가 검증된 충돌 시나리오 (3 가지 탐구 차원에 걸친 1,200 개의 평가 쿼리) 를 포함한 STALE 벤치마크를 소개했습니다. 우리는 State Resolution(과거 신념이 구식임을 감지), Premise Resistance(구식 상태를 잘못 전제하는 쿼리를 거부), Implicit Policy Adaptation(후속 행동에 업데이트된 상태를 능동적으로 적용) 을 테스트하는 3 차원 탐구 프레임워크를 제안했습니다. 최첨단 LLM 과 전문 메모리 프레임워크의 체계적 평가는 증거를 검색하고 이를 실행하는 것 사이의 광범위한 격차를 드러냈으며, 가장 잘 평가된 모델조차도 전체 정확도가 55.2% 만 달성했습니다. 모델들은 종종 사용자의 쿼리에 내장된 구식 가정을 수용하며, 사용자의 상태의 한 측면이 변경되었을 때 관련 메모리를 무효화해야 하는 것을 인식하는 데 어려움을 겪습니다. 상태 인식을 위한 초기 기준을 설정하기 위해 우리는 구조화된 상태 통합과 전파 감지 검색 (propagation-aware search) 을 통해 서술 시간 수정을 강화하는 CUPMem 프로토타입을 추가적으로 제시했습니다. 명시적 상태 심판은 견고한 에이전트 메모리를 위한 유망한 방향임을 시사합니다.