EvoArena: 동적 환경에서 견고한 LLM 에이전트를 위한 메모리 진화 추적

요약

본 논문은 정적 환경에 국한된 기존 LLM 에이전트 평가의 한계를 지적하며, 동적인 환경 변화를 모델링하는 새로운 벤치마크 EvoArena를 제안합니다. 또한, 메모리 진화를 구조화된 업데이트 히스토리로 기록하는 패치 기반 메모리 시스템인 EvoMem을 개발했습니다. 실험 결과, EvoMem은 기존 에이전트 대비 다양한 표준 벤치마크에서 성능 향상을 입증하며, 동적 환경에서의 에이전트 신뢰성을 높이는 데 기여함을 보여줍니다.

핵심 포인트

• EvoArena: 동적인 환경 변화를 모델링하는 새로운 LLM 벤치마크 스위트
• EvoMem: 메모리 진화를 패치 기반의 업데이트 히스토리로 기록하는 방법론 제시
• EvoMem은 표준 벤치마크에서 평균적으로 높은 성능 향상을 보임
• 동적 환경에서의 에이전트 평가 및 메모리 모델링의 중요성 강조