DeepWeb-Bench: 방대한 교차 출처 증거와 장기적 유도 과정을 요구하는 심층 연구 벤치마크

요약

DeepWeb-Bench는 에이전트의 심층 연구(Deep research) 능력을 평가하기 위해 설계된 새로운 벤치마크로, 방대한 증거 수집과 교차 출처 조정, 장기적 다단계 유도를 요구합니다. 기존 벤치마크보다 높은 난이도를 제공하며, 검색보다는 유도와 교정 단계에서 모델의 성능 차이가 극명하게 나타남을 입증했습니다.

핵심 포인트

• DeepWeb-Bench는 검색, 유도, 추론, 교정의 네 가지 핵심 능력군을 평가함
• 심층 연구 모델의 주요 병목 현상은 검색이 아닌 유도(Derivation) 및 교정(Calibration) 단계임
• 강력한 모델은 불완전한 유도로 인해 실패하는 반면, 약한 모델은 환각된 정밀도(Hallucinated precision)로 인해 실패함
• 모델 간의 성능 일치도가 낮아 도메인별로 모델의 전문성이 다르게 나타남