AgentSearchBench: 실전 환경에서의 AI 에이전트 검색을 위한 벤치마크

AI 에이전트 생태계의 급속한 성장은 복잡한 작업의 위임 및 실행 방식을 변화시키며, 주어진 작업에 적합한 에이전트를 식별하는 새로운 도전을 만들어냈다. 기존 도구들과 달리 에이전트의 기능은 종종 구성적이며 실행에 의존적이어서 텍스트 설명만으로 평가하기 어렵다. 그러나 기존 연구와 벤치마크들은 일반적으로 명확히 정의된 기능, 통제된 후보 풀, 또는 실행 가능한 작업 쿼리만을 가정하여 현실적인 에이전트 검색 시나리오가 충분히 연구되지 않은 채로 남아있다. 우리는 여러 제공자로부터 거의 10,000 개의 실제 세계 에이전트를 기반으로 구축한 대규모 벤치마크인 AgentSearchBench 를 소개한다. 이 벤치마크는 실행 가능한 작업 쿼리와 고수준 작업 설명 모두 하에서 에이전트 검색을 검색 및 재순위화 문제로 공식화하며, 실행 기반 성능 신호를 사용하여 관련성을 평가한다. 실험 결과는 의미적 유사성과 실제 에이전트 성능 사이에 일관된 격차를 보여주어, 설명 기반의 검색 및 재순위화 방법의 한계를 드러낸다. 우리는 또한 실행 인식 프로빙 (execution-aware probing) 을 포함한 경량 행동 신호가 순위 품질을 크게 향상시킬 수 있음을 보여줌으로써, 에이전트 발견에 실행 신호를 통합하는 것이 중요함을 강조한다. 우리의 코드는 https://github.com/Bingo-W/AgentSearchBench 에서 이용 가능하다.