AgentSearchBench: 실전 환경에서의 AI 에이전트 검색을 위한 벤치마크

요약

AI 에이전트 생태계가 성장함에 따라, 주어진 작업에 가장 적합한 에이전트를 식별하는 것이 중요한 과제가 되었습니다. 기존 벤치마크들이 제한적인 시나리오를 가정했던 한계를 극복하기 위해, 본 논문은 약 10,000개의 실제 에이전트를 기반으로 하는 대규모 벤치마크인 AgentSearchBench를 소개합니다. 이 벤치마크는 실행 가능한 작업 쿼리와 고수준 설명 모두에서 에이전트 검색 및 재순위화 문제를 다루며, 특히 실행 기반 성능 신호를 활용하여 관련성을 평가함으로써 기존 방법론의 한계를 입증하고 실행 인식 프로빙의 중요성을 강조합니다.

핵심 포인트

• AI 에이전트 검색은 단순한 텍스트 매칭을 넘어선 복잡한 문제입니다. 에이전트 기능은 구성적이고 실행에 의존적이어서 설명만으로는 평가가 어렵습니다.
• AgentSearchBench는 약 10,000개의 실제 에이전트를 포함하는 대규모 벤치마크로, 현실적인 에이전트 검색 시나리오를 제공합니다.
• 본 벤치마크는 실행 가능한 작업 쿼리와 고수준 설명 모두에서 에이전트 검색 및 재순위화 문제를 공식화하고 평가합니다.
• 실험 결과는 의미적 유사성만으로는 충분하지 않으며, 실제 에이전트의 성능(실행 기반 신호)을 통합하는 것이 순위 품질 향상에 결정적임을 보여줍니다.