AgentAtlas: LLM 에이전트를 위한 결과 중심 리더보드를 넘어서

요약

AgentAtlas는 기존 LLM 에이전트 벤치마크의 파편화 문제를 해결하기 위해 제안된 새로운 측정 프로토콜입니다. 단순한 정확도 측정을 넘어 제어-결정 분류, 궤적 실패 분석, 프롬프트 감독 의존도 측정 등을 통해 에이전트의 실제 성능을 다각도로 평가합니다.

핵심 포인트

• 기존의 단일 정확도(accuracy) 중심 평가 방식이 실제 배포 가능한 에이전트를 평가하기에 불충분함을 지적함
• 6가지 상태의 제어-결정 분류 체계와 9개 카테고리의 궤적 실패 분류 체계를 도입함
• 프롬프트 내 감독(supervision) 유무에 따른 모델 성능 차이를 측정하는 방법론을 제시함
• 실험 결과, 명시적 레이블 제거 시 모델의 궤적 정확도가 14-40%p 급격히 하락함을 확인하여 프롬프트 의존성을 입증함