검색 도구로 강화된 대규모 언어 모델(Large Language Models, LLMs)인 검색 에이전트(Search Agents)는 미래 지향적인 평가 벤치마크의 필요성을 심화시켰습니다. BrowseComp와 같은 기존 벤치마크는 정적인 지식(Static Knowledge)에 의존하기 때문에, 테스트 세트 오염(Test-set Contamination) 및 파라미터 암기(Parametric Memorization)에 취약합니다. 결과적으로 모델은 진정한 검색(Retrieval)보다는 사실 회상(Fact Recall)을 통해 높은 점수를 얻을 수 있으며, 이는 추론 지름길(Reasoning Shortcuts)을 통해 실제 브라우징 역량을 가릴 수 있습니다. 본 논문에서 우리는 라이브 웹 탐색(Live-web Traversal)을 통해 합성된, 오염 없는 400개의 영어 및 400개의 중국어 복합 질문으로 구성된 진화형 벤치마크인 EvoBrowseComp를 소개합니다. 이러한 질문들을 수집하기 위해 우리는 세 가지 에이전트 협업 프레임워크를 설계했습니다: (1) 라이브 웹에서 최신 지식을 검색하여 QA 쌍을 합성하는 QA 합성 에이전트(QA Synthesis Agent); (2) 파라미터 지름길을 차단하기 위해 신뢰성과 인기도 측면에서 검색된 지식을 필터링하는 정보 필터링 에이전트(Information Filtering Agent); (3) 합성된 QA 쌍의 논리적 중복과 지름길을 줄이기 위해 질문을 추론 그래프(Reasoning Graphs)로 정형화하는 상위 가이드 에이전트(High-level Guidance Agent). 이 프레임워크는 완전 자동화된 합성을 지원하기 때문에, EvoBrowseComp는 데이터 오염을 방지하고 시간적 신선도(Temporal Freshness)를 유지하기 위해 정기적으로 업데이트될 수 있습니다. 광범위한 실험을 통해 EvoBrowseComp가 넓은 수평적 검색(Horizontal Search)을 요구하는 매우 높은 난이도를 가지고 있음을 확인했습니다. 이는 진화하는 세계 지식 및 발전하는 에이전트 능력과 발맞추어 나가는, 자동 업데이트가 가능한 고난도 벤치마킹을 위한 확장 가능한 패러다임을 구축합니다.