실제 세계의 에이전트(agents)는 정보가 반복적으로 업데이트되고 메모리 간에 간섭이 발생할 수 있는 길고 진화하는 지평(long and evolving horizons)에서 작동하며, 이에 따라 여러 정보에 대한 정확한 회상(recall)과 집계된 추론(aggregated reasoning)이 요구됩니다. 그러나 기존의 벤치마크(benchmarks)는 정적이고 독립적인 회상에 집중되어 있어, 진화하는 메모리 사이의 이러한 동적인 상호작용을 포착하지 못합니다. 본 논문에서는 현재의 메모리 증강 에이전트(memory-augmented agents)가 다양한 도메인과 질문 유형에 걸쳐 현실적이고 간섭이 심한 장기적 설정(long-horizon settings)에서 어떻게 작동하는지 연구합니다. 우리는 LongMINT (Long-Horizon Memory under INTerference)를 소개합니다. 이 벤치마크는 (1) 상당한 간섭을 유발하는, 빈번하게 업데이트되는 정보가 포함된 길고 고도로 상호 연결된 컨텍스트(contexts), (2) 도메인 일반화(domain generalization) 평가를 가능하게 하는 다양한 도메인(상태 추적(state tracking), 다회차 대화(multi-turn dialogue), Wikipedia 수정 사항, GitHub 커밋), (3) 간섭에 대한 강건성(robustness)을 평가하는 다양한 질문 유형을 특징으로 합니다. 질문 유형에는 (i) 긴 컨텍스트에서 특정 목표를 검색해야 하는 단일 목표 회상(single-target recall) 작업과 (ii) 여러 관련 정보에 대해 추론해야 하는 다중 목표 집계(multi-target aggregation) 작업이 포함됩니다. 전반적으로 LongMINT는 평균 138.8k 토큰이며 인스턴스당 최대 1.8M 토큰에 달하는 장기적 컨텍스트에 대해 15.6k개의 질의응답 쌍을 보유하고 있습니다. 우리는 일반적인 장기 컨텍스트 LLM(long-context LLMs), RAG, 그리고 메모리 증강 에이전트 프레임워크를 포함한 7개의 대표적인 시스템을 평가합니다. 모든 시스템에 걸쳐, 우리는 특히 여러 증거에 대한 집계된 추론을 요구하는 질문에서 지속적으로 낮은 성능(평균 정확도 27.9%)을 관찰했습니다. 우리의 분석은 성능이 주로 검색(retrieval)과 메모리 구축(memory construction)에 의해 제한된다는 것을 보여줍니다. 나아가, 현재의 메모리 시스템은 이후의 컨텍스트에 의해 수정되거나 간섭을 받는 이전 사실들을 회상하고 추론하는 데 어려움을 겪으며, 중간 업데이트 횟수가 증가함에 따라 성능이 저하됩니다.