LongMINT: 다중 목표 간섭 환경에서의 장기적 에이전트 시스템 메모리 평가

요약

LongMINT는 정보가 빈번하게 업데이트되고 메모리 간 간섭이 발생하는 동적인 장기적 환경에서 에이전트의 메모리 능력을 평가하기 위한 새로운 벤치마크입니다. 기존 벤치마크가 정적인 회상에 집중하는 것과 달리, LongMINT는 다중 목표 집계 추론과 도메인 일반화 능력을 측정합니다. 연구 결과, 현재의 LLM과 RAG 시스템은 정보 업데이트가 잦아질수록 이전 사실을 정확히 회상하고 추론하는 데 큰 어려움을 겪는 것으로 나타났습니다.

핵심 포인트

• LongMINT 벤치마크는 최대 1.8M 토큰에 달하는 초장기 컨텍스트와 15.6k개의 질의응답 쌍을 제공합니다.
• 기존 시스템들은 단일 정보 검색보다 여러 정보를 결합해야 하는 다중 목표 집계(multi-target aggregation) 작업에서 매우 낮은 성능(평균 27.9%)을 보였습니다.
• 성능 저하의 주요 원인은 검색(retrieval) 능력과 메모리 구축(memory construction)의 한계로 분석되었습니다.
• 정보 업데이트 횟수가 증가할수록 이전 사실이 새로운 컨텍스트에 의해 간섭을 받아 성능이 지속적으로 하락합니다.