WebRetriever 글로벌 챌린지 (WebRetriever Global Challenge)의 참가 등록이 현재 시작되었습니다. Mininglamp Technology가 주최하며, 베이징 대학교 (Peking University), 중국과학원 자동화연구소 (Institute of Automation at the Chinese Academy of Sciences), CAS 홍콩 고등연구원 AI 및 로보틱스 혁신 센터 (AI and Robotics Innovation Center at the CAS Hong Kong Institute for Advanced Study), 그리고 Synced (机器之心)가 공동 주관합니다.

총 상금 규모는 미화 15,000달러 ($15,000 USD)입니다. 개인과 팀 모두 참여 가능하며, 국적이나 소속 기관에 따른 제한은 없습니다.

이 벤치마크 (benchmark)가 존재하는 이유

AI 에이전트 (AI agent)가 실제 브라우저에 진입했을 때, 복잡하고 끊임없이 변화하는 오픈 웹 (open web) 환경에서 인간과 마찬가지로 스스로 작업을 완수할 수 있을까요?

이것은 웹 에이전트 (Web Agents)의 실제 현장 배포를 가로막는 핵심적인 병목 현상 (bottleneck)으로 남아 있습니다. 기존의 벤치마크 (benchmarks)는 대부분 소수의 시뮬레이션된 사이트나 자체 호스팅된 사이트에 의존하고 있어, 실제 인터넷의 복잡성을 따라가기에는 크게 부족합니다. 평가 측면에서도 현재의 방식들은 개별 동작이 올바르게 실행되었는지에 과도하게 집중하고 있으며, 에이전트가 실제로 작업이 요구하는 최종 결과를 전달했는지 측정하는 체계적인 방법이 부족합니다.

WebRetriever는 더 정직한 측정 도구를 구축하려는 우리의 시도입니다. 관련 논문은 ECCV 2026에 채택되었습니다.

규모: 800개의 실제 라이브 웹사이트, 기술, 금융, 의료, 교육, 정부를 포함한 8개 수직 계열 (verticals) 분야에 걸친 1,550개의 교차 도메인 (cross-domain) 작업이 모두 실제 공개 인터넷을 대상으로 실행됩니다.
평가 정확도: 우리의 NavEval 프레임워크는 이전의 최상위 방식들이 보여준 약 81%와 비교하여, 인간 전문가의 판단과 91.2%의 일치율을 달성했습니다. 이를 통해 이 정도 규모에서 처음으로 자동화된 대규모 평가의 신뢰성을 확보했습니다.
수치가 말해주는 것: 가장 뛰어난 단일 모델조차 기본적인 탐색 성공률 (navigation success)은 50% 미만이며, 엔드 투 엔드 (end-to-end) 작업 완료율은 20% 내외에 머물러 있습니다. 목적지에 도달하는 것과 작업을 완수하는 것은 다릅니다.

등록 방법

경진대회 플랫폼 (Octo): https://im.deepminer.com.cn/
초대 코드 (Invite code): 0f351ca01bb4c4dd

2단계 — 위의 초대 코드를 사용하여 경진 대회 공간(competition space)에 참여하세요.

3단계 — 공간 내 안내 지침에 따라 팀 정보(팀 이름, 구성원 등)를 제출하세요.

리소스

논문 (Paper): https://arxiv.org/abs/2607.06118
데이터셋 (Dataset): https://huggingface.co/datasets/Mininglamp-2718/WebRetriever
코드 및 리더보드 (Code & leaderboard): https://mininglamp-ai.github.io/WebRetriever
챌린지 페이지 (Challenge page): https://mininglamp-ai.github.io/WebRetriever_Challenge/