STALE: Can LLM Agents Know When Their Memories Are No Longer Valid?

원문 발행 2026. 05. 08. 01:31원문 언어 영어AI 한국어 번역arXiv cs.CL 원문 보기

요약

LLM 에이전트는 장기적인 개인화된 기억을 유지하는 것이 기대되지만, 기존 벤치마크는 새로운 증거로 인해 저장된 신념이 무효화되는 능력을 측정하지 못했습니다. 본 논문은 'Implicit Conflict(명시적 충돌)'라는 중요한 실패 모드를 식별하고, 이를 평가하기 위해 100개 이상의 주제와 최대 150K 토큰의 맥락을 포함하는 대규모 STALE 벤치마크를 소개합니다. 이 연구는 에이전트가 구식 상태를 감지하고 메모리를 능동적으로 업데이트하는 것이 어렵다는 것을 보여주었으며, 구조화된 상태 통합 및 전파 감지 검색을 통해 이를 개선할 수 있는 CUPMem 프로토타입도 제시했습니다.

핵심 포인트

LLM 에이전트의 기억력 평가는 단순히 사실 검색을 넘어, 새로운 증거에 의해 기존 신념이 무효화되는 'Implicit Conflict' 감지 능력을 측정해야 합니다.
STALE 벤치마크는 최대 150K 토큰의 긴 컨텍스트와 다양한 충돌 시나리오를 제공하여 에이전트 메모리 시스템을 엄격하게 평가합니다.
에이전트는 구식 상태(Stale State)를 감지하고, 잘못된 전제를 거부하며, 업데이트된 상태를 행동에 능동적으로 적용하는 데 어려움을 겪습니다.
연구진은 구조화된 상태 통합과 전파 감지 검색을 결합한 CUPMem 프로토타입을 제시하여, 에이전트의 메모리 신뢰성 향상 가능성을 보여주었습니다.

대규모 언어 모델 (Large Language Model, LLM) 에이전트는 일관된 장기적 개인화된 메모리를 유지할 것으로 점점 더 기대받고 있으나, 현재 벤치마크는 주로 정적 사실 검색을 측정하여 새로운 증거가 등장했을 때 저장된 신념을 수정하는 능력을 간과하고 있습니다. 우리는 명시적 부정 없이 후속 관찰이 초기 메모리를 무효화하는 중요한 과소 연구된 실패 모드인 Implicit Conflict(명시적 충돌)를 식별했습니다. 이를 감지하기 위해서는 문맥 추론과 일반적 추론 (commonsense reasoning) 이 필요합니다. 이를 엄밀하게 평가하기 위해 우리는 100 개 이상의 일상 주제를 다루며 맥락이 최대 150K 토큰까지 포함되는 400 개의 전문가 검증된 충돌 시나리오 (3 가지 탐구 차원에 걸친 1,200 개의 평가 쿼리) 를 포함한 STALE 벤치마크를 소개했습니다. 우리는 State Resolution(과거 신념이 구식임을 감지), Premise Resistance(구식 상태를 잘못 전제하는 쿼리를 거부), Implicit Policy Adaptation(후속 행동에 업데이트된 상태를 능동적으로 적용) 을 테스트하는 3 차원 탐구 프레임워크를 제안했습니다. 최첨단 LLM 과 전문 메모리 프레임워크의 체계적 평가는 증거를 검색하고 이를 실행하는 것 사이의 광범위한 격차를 드러냈으며, 가장 잘 평가된 모델조차도 전체 정확도가 55.2% 만 달성했습니다. 모델들은 종종 사용자의 쿼리에 내장된 구식 가정을 수용하며, 사용자의 상태의 한 측면이 변경되었을 때 관련 메모리를 무효화해야 하는 것을 인식하는 데 어려움을 겪습니다. 상태 인식을 위한 초기 기준을 설정하기 위해 우리는 구조화된 상태 통합과 전파 감지 검색 (propagation-aware search) 을 통해 서술 시간 수정을 강화하는 CUPMem 프로토타입을 추가적으로 제시했습니다. 명시적 상태 심판은 견고한 에이전트 메모리를 위한 유망한 방향임을 시사합니다.

AI 자동 생성 콘텐츠

원문 바로가기

STALE: Can LLM Agents Know When Their Memories Are No Longer Valid?

요약

핵심 포인트

댓글