LongMemEval-V2: 숙련된 동료를 위한 장기 에이전트 메모리 평가

요약

LongMemEval-V2 (LME-V2)는 웹 에이전트가 전문적인 웹 환경에서 숙련된 동료처럼 행동하는 데 필요한 장기 메모리 능력을 평가하기 위해 개발된 새로운 벤치마크입니다. LME-V2는 정적 상태 회상, 동적 상태 추적 등 다섯 가지 핵심 메모리 능력을 다루며, 최대 500개의 트래젝토리와 115M 토큰의 히스토리 트래젝토리를 포함합니다. 연구진은 AgentRunbook-R (효율적인 RAG 기반)과 AgentRunbook-C (코딩 에이전트 호출) 두 가지 메모리 방법 세트를 제안했으며, AgentRunbook-C가 가장 높은 정확도를 보였으나 지연 시간 문제가 있었습니다.

핵심 포인트

• LME-V2는 기존 벤치마크의 한계를 극복하고 웹 에이전트의 환경별 경험 내재화 능력을 평가하는 새로운 표준을 제시합니다.
• LME-V2는 정적 상태 회상, 동적 상태 추적 등 다섯 가지 핵심 메모리 능력을 포괄적으로 테스트합니다.
• 제안된 AgentRunbook-C 방법은 높은 정확도(72.5%)를 달성하여 기존의 RAG 및 코딩 에이전트 기준선을 모두 능가했습니다.
• AgentRunbook-C는 성능 향상에도 불구하고 높은 지연 시간 비용을 가지므로, 정확도와 지연 시간 간의 최적화가 필요합니다.