BrowseComp-Plus의 830개 질의 중 15개로 구성된 mini 버전: 전체 세트와 유사한 순위를 매기는 심층 연구 에이전트, LLM

요약

기존의 대규모 검색 에이전트 벤치마크(BrowseComp-Plus)는 실행 비용과 시간이 많이 소모되는 문제가 있었습니다. 이에 연구진은 전체 830개 질의 중 핵심적인 15개 질문으로 구성된 'mini 버전'을 개발했습니다. 이 mini 세트는 적은 자원으로도 전체 벤치마크와 유사한 높은 순위 매기기 성능을 보여주어 효율성을 크게 높였습니다.

핵심 포인트

• 전체 830개 질의 중 15개로 구성된 하위 세트를 개발했습니다.
• 가중 스피어만 순위 일치도가 0.88을 기록하며 높은 성능을 입증했습니다.
• 전체 벤치마크 대비 실행 비용이 2% 미만으로 매우 효율적입니다.
• 정규화된 정확히 일치 매칭 방식으로 평가되어 신뢰성이 높습니다.