Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
기존 벤치마크의 데이터 오염 문제를 해결하기 위해 라이브 웹 탐색 기반의 진화형 벤치마크인 EvoBrowseComp를 제안합니다. 세 가지 에이전트 협업 프레임워크를 통해 최신 지식을 반영한 고난도 QA 쌍을 자동으로 합성하고 업데이트할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기검색 도구로 강화된 대규모 언어 모델(Large Language Models, LLMs)인 검색 에이전트(Search Agents)는 미래 지향적인 평가 벤치마크의 필요성을 심화시켰습니다. BrowseComp와 같은 기존 벤치마크는 정적인 지식(Static Knowledge)에 의존하기 때문에, 테스트 세트 오염(Test-set Contamination) 및 파라미터 암기(Parametric Memorization)에 취약합니다. 결과적으로 모델은 진정한 검색(Retrieval)보다는 사실 회상(Fact Recall)을 통해 높은 점수를 얻을 수 있으며, 이는 추론 지름길(Reasoning Shortcuts)을 통해 실제 브라우징 역량을 가릴 수 있습니다. 본 논문에서 우리는 라이브 웹 탐색(Live-web Traversal)을 통해 합성된, 오염 없는 400개의 영어 및 400개의 중국어 복합 질문으로 구성된 진화형 벤치마크인 EvoBrowseComp를 소개합니다. 이러한 질문들을 수집하기 위해 우리는 세 가지 에이전트 협업 프레임워크를 설계했습니다: (1) 라이브 웹에서 최신 지식을 검색하여 QA 쌍을 합성하는 QA 합성 에이전트(QA Synthesis Agent); (2) 파라미터 지름길을 차단하기 위해 신뢰성과 인기도 측면에서 검색된 지식을 필터링하는 정보 필터링 에이전트(Information Filtering Agent); (3) 합성된 QA 쌍의 논리적 중복과 지름길을 줄이기 위해 질문을 추론 그래프(Reasoning Graphs)로 정형화하는 상위 가이드 에이전트(High-level Guidance Agent). 이 프레임워크는 완전 자동화된 합성을 지원하기 때문에, EvoBrowseComp는 데이터 오염을 방지하고 시간적 신선도(Temporal Freshness)를 유지하기 위해 정기적으로 업데이트될 수 있습니다. 광범위한 실험을 통해 EvoBrowseComp가 넓은 수평적 검색(Horizontal Search)을 요구하는 매우 높은 난이도를 가지고 있음을 확인했습니다. 이는 진화하는 세계 지식 및 발전하는 에이전트 능력과 발맞추어 나가는, 자동 업데이트가 가능한 고난도 벤치마킹을 위한 확장 가능한 패러다임을 구축합니다.