AI 에이전트의 종합적 평가 및 실패 진단

요약

본 논문은 복잡한 다단계 프로세스를 수행하는 AI 에이전트의 현재 미흡한 평가 방식을 개선하기 위한 종합적인 프레임워크를 제시합니다. 이 프레임워크는 하향식(top-down) 에이전트 수준 진단과 상향식(bottom-up) 구간 수준(span-level) 평가를 결합하여, 분석을 독립적인 구간별 평가로 분해하고 각 판정에 대한 근거를 생성할 수 있습니다. TRAIL 벤치마크에서 이 프레임워크는 GAIA와 SWE-Bench 모두에서 기존 최고 성능의 베이스라인 대비 여러 지표에서 높은 개선율을 입증했습니다.

핵심 포인트

• AI 에이전트 평가의 한계: 기존 방식은 결과(outcome)만 보고하거나, 프로세스 추적 내 실패 위치를 정확히 연결하는 데 어려움이 있다.
• 제안된 프레임워크는 하향식 진단과 상향식 구간 수준 평가를 결합하여 종합적인 에이전트 평가를 가능하게 한다.
• 분해 방식 덕분에 임의 길이의 추적(traces)에 확장 가능하며, 각 판정에 대한 근거(rationales)를 생성할 수 있다.
• TRAIL 벤치마크에서 GAIA 및 SWE-Bench 모두에서 기존 최고 성능 대비 높은 개선율을 달성하여 방법론의 우수성을 입증했다.