실제 세계는 진화하지만, 대부분의 에이전트 벤치마크는 그렇지 않다
요약
에이전트 벤치마크가 실제 세계의 진화하는 특성을 반영하지 못한다는 문제점을 지적합니다. EvoArena는 터미널, 소프트웨어, 사회적 도메인 전반에 걸쳐 지속적인 진화를 도입하며, 성능 저하 문제를 해결하기 위해 패치 기반 메모리 래퍼인 EvoMem을 제안합니다.
핵심 포인트
- 대부분의 에이전트 벤치마크는 실제 세계처럼 진화하지 못함.
- EvoArena은 지속적인 진화를 도입하여 현실성을 높임.
- EvoMem은 변경 사항 추적 및 성능 복구를 위한 메모리 래퍼를 제공함.
실제 세계는 진화합니다. 하지만 대부분의 에이전트 벤치마크는 진화하지 않습니다.
EvoArena은 터미널, 소프트웨어, 사회적 도메인 전반에 걸쳐 지속적인 진화를 도입합니다.
현재 에이전트들은 평균 정확도가 39.6%까지 떨어집니다.
패치 기반 메모리 래퍼인 EvoMem은 무엇이 바뀌었고 왜 바뀌었는지 추적하여 성능을 복구합니다. https://t.co/vFTpiFCmcL
AI 자동 생성 콘텐츠
본 콘텐츠는 X @huggingpapers (검증됨)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0