네, 세 개의 제3자 보드(third-party boards)에서 Tavily, Exa, Brave Search API를 나란히 테스트합니다: Openbenchmarks, AIMultiple, 그리고 Artificial Analysis입니다. 이들 중 어느 곳도 검색 API를 판매하지 않으며, 각 기관은 검색 API만 변경하고 모델, 질문 세트, 채점기(grader)는 고정하여 유지합니다. 이들은 서로 다른 것을 측정하며, 각각의 질문 세트 일부는 비공개로 유지합니다.
- Openbenchmarks는 300개의 회사 뉴스 조회(company-news lookups)에 대해 검색을 수행하고, 어려운 검색(hard retrieval)을 위한 에이전트 작업(100개 티켓), 그리고 다단계 검색(multi-hop search)(45개 질문)도 실행합니다. 이의 하네스(harnesses)는 GitHub에서 MIT 라이선스로 제공되며, Hugging Face에 공개된 질문 샘플이 있습니다.
- AIMultiple과 Artificial Analysis는 고정된 AI 에이전트에게 질문당 여러 번의 검색을 수행하게 합니다. 이들은 검색 API를 에이전트 루프(agent loop) 내의 하나의 도구로 측정합니다.
- Tavily, Exa, Parallel, cloro 등 공급업체 벤치마크(Vendor benchmarks)는 종종 코드와 답변의 더 많은 부분을 공개하지만, 표에 있는 각 테스트를 실행하는 회사는 API를 판매하고 있습니다. Tavily와 Exa 자체의 표는 자신들의 API를 가장 먼저 배치합니다.
어떤 독립적인 벤치마크가 Tavily, Exa, Brave를 테스트하나요?
| 벤치마크 | 무엇을 테스트하는가 | 질문당 검색 횟수 | 포함 여부 (Tavily, Exa, Brave) | 공개된 정보 |
|---|
| Openbenchmarks web search, 마지막 측정일 2026년 10월 21일 | 300개 회사 뉴스 조회, 100개 어려운 검색 티켓, 45개 다단계 회사 질문 | 조회 시 1회; 검색 및 다단계 검색의 경우 최대 5회/최대 14회 에이전트 사용 | 예, 13개 공급업체 | MIT 하네스; Hugging Face에 있는 300개 조회 중 100개와 티켓 30개 |
| ... | | | | |
Openbenchmarks가 측정한 내용
조회(lookup) 보드에서는 모든 API가 변경되지 않은 질문 텍스트를 받으며, 한 번의 요청과 최대 10개의 결과를 얻습니다. 하나의 모델(gpt-5.6-terra)이 제목과 스니펫을 읽고 답변을 추출합니다. 두 번째 모델(claude-opus-5)은 어떤 공급업체가 호출되기 전 사람들이 라벨링한 답변과 비교하여 이를 판단합니다.
Exa (fast mode)는 99.3%를 기록했고, Exa instant는 97.7%, Brave의 LLM context endpoint는 94.0%, Brave web search는 93.3%, Tavily advanced는 93.0%, 그리고 Tavily basic은 87.7%를 기록했다. 해당 보드 자체도 이 수치에 문제가 있다고 지적한다: 나중에 벤치마크된 공급업체(vendors)들이 더 높은 점수를 받는 경향이 있다. 재실행 전까지는 조회 순위가 "공급업체를 비교하는 데 사용되어서는 안 된다"고 명시하고 있다.
에이전트 보드에서는, 에이전트가 페이지를 가져올 수 있을 때 Exa deep이 검색(retrieval)에서 83.0%로 선두를 달렸고, Parallel basic은 페이지 가져오기 없이 다단계 검색(multi-hop search)에서 46.5% F1을 기록하며 선두를 차지했다.
해당 사이트의 소개 페이지에는 "누구도 포함되거나, 순위가 매겨지거나, 제거되는 것에 돈을 지불하지 않는다"고 명시되어 있다. 같은 페이지에서는 평가(evals)를 서비스로 판매하며, 파트너사 중 다수가 고객이라고 밝히고 있다. 발표된 순위는 질문 자체가 공개되지 않는 별도의 데이터 세트(held-out set)에서 나온 것이다.
AIMultiple이 측정한 내용
Artificial Analysis가 측정한 내용
고정된 에이전트(gpt-5.6-luna, 중간 노력도)는 web_search 및 web_fetch 도구를 사용하며 최대 25턴(turns)까지 진행된다. 이 지수는 세 가지 벤치마크: DeepSearchQA F1, BrowseComp 정확도, AA-Omniscience 정확도의 동일 가중 평균이다. 구성에는 Tavily basic, Exa lite 및 auto, 그리고 Brave web 및 LLM context가 포함된다. 방법론 페이지는 점수를 보여주지 않으며 공급업체의 지불 여부에 대한 진술을 하지 않는다. 이 기사는 리더보드를 읽지 않았으므로 해당 점수를 제공하지 않는다.
어떤 벤치마크가 검색 API 공급업체에 의해 실행되는가?
| 실행 주체 | 벤치마크 | API 목록 | 공개된 자료 | 헤드라인 |
|---|
| Tavily | tavily-search-evals: 전체 SimpleQA 및 문서 관련성 세트, gpt-4.1이 결과를 읽음 | Tavily, Perplexity, Serper를 통한 Google, Brave, Exa | MIT 코드 및 설정 | SimpleQA: Tavily 93.3%, Perplexity Search 85.92%, Serper 82.15%, Brave 76.05%, Exa 71.24% |
| ... | | | | |
동일한 API가 반대 순서로 나올 수도 있습니다. Tavily의 SimpleQA 실행에서는 Exa가 71.24%를 기록했고 Tavily는 93.3%를 기록했습니다. 여섯 개 API 벤치마크의 SimpleQA Verified에서는 Exa가 97.3%를, Tavily가 91.8%를 기록했습니다. 질문 세트(question sets), 리더 모델(reader models) 및 요청 설정이 다르기 때문에 어느 결과도 다른 환경으로 전이될 수 없습니다.
스스로를 벤치마크라고 부르는 블로그 게시물은 어떤가요?
- 2026년 10월 8일, dev.to에 올라온 "AI 에이전트를 위한 웹 검색 API 4가지 벤치마킹" 글에서는 You.com, Tavily, Exa, Parallel을 30개의 에이전트 스타일 질문에 대해 각각 3회 실행했습니다. 최대 점수 대비 비율로 볼 때, Parallel은 67%, You.com은 63%, Exa는 53%, Tavily는 51%를 기록했습니다. 이 하네스(harness), 정답 키(answer keys) 및 등급은 GitHub에서 MIT 라이선스로 제공됩니다. 작성자는 이를 "리더보드가 아닌 집중적인 테스트"라고 부릅니다. Brave는 포함되어 있지 않습니다.
- dev.to에 올라온 "LLM 검색 API 벤치마킹: Tavily 대 Web Search Plus 대 OpenAI 웹 검색"은 Web Search Plus를 구축한 팀이 작성한 단일 질문입니다. 이 글은 하나의 답변 비용을 비교합니다. Exa나 Brave 결과는 없습니다.
- Braintrust와 Vellum은 웹 검색 API에 대한 요약본(roundups)을 발표합니다. Braintrust의 자체 수치는 You.com과 내장 모델 검색 간의 연구를 기반으로 합니다. Vellum은 Openbenchmarks와 AIMultiple을 인용합니다.
오픈 6개 API 벤치마크는 어떻게 작동하나요?
- 질문당 하나의 검색(One search per question). 쿼리는 질문 텍스트 그 자체이며, 재작성(rewrite)이나 두 번째 검색, 페이지 가져오기(page fetch) 과정이 없습니다.
- 각 API의 기본 모드에서는 10개의 결과를 제공합니다. 답변 기능은 추가 옵션으로 판매되므로 (Tavily
include_answer, Exa summary), 이 기능들은 비활성화되어 있습니다.
- 하나의 리더(reader).
gpt-5.6-luna는 최대 30,000자의 결과를 읽고 그 결과와 답변만을 사용하거나 "NOT FOUND"라고 응답합니다.
- 하나의 채점자(grader).
gpt-5.6-sol은 변경되지 않은 OpenAI simple-evals grader 프롬프트를 사용하여 각 답변을 채점합니다.
- 동일한 질문들은 시드 42로 섞여져서, 모든 API에 질문별로, 한 번에 4개의 요청으로, 하나의 컴퓨터에서 전송되었습니다. 테스트는 2026년 11월 4일, 5일, 10일, 그리고 11일에 진행되었습니다.
| API | SimpleQA Verified (1,000) | FreshQA (358) | FRAMES (824) |
|---|
| Parallel | 97.8% | 82.7% | 65.3% |
| ... | | | |
어떤 API도 세 가지 세트 모두에서 첫 번째 순위를 차지하지 못했습니다. Parallel, Exa, 그리고 cloro는 SimpleQA Verified 범위 내에 있으며, SerpApi와 cloro가 FreshQA에서 동률을 이루었고, cloro가 FRAMES에서 선두를 차지했습니다. 제한 사항은 README에 명시되어 있습니다: 하나의 검색은 에이전트(agent)가 아닌 검색 API 자체를 측정하며, 1,000개의 SimpleQA 질문 중 193개는 데이터셋 이름을 언급하는 결과를 가졌고, 358개의 FreshQA 답변 키는 최신이 아닐 수 있습니다. 해당 질문들이 없다면 순위는 변하지 않습니다.
재실행 방법(How do you rerun it)?
하네스(harness)는 설치할 패키지가 없는 하나의 Python 파일입니다.
- 저장된 답변에서 게시된 FRAMES 테이블을 출력합니다. 이 과정에는 API 키가 필요하지 않습니다:
python3 benchmark.py --summary --out runs/frames-2026-11
OPENAI_API_KEY와 테스트할 API의 키들(TAVILY_API_KEY, EXA_API_KEY, BRAVE_API_KEY)을 설정합니다.
- 먼저 3개의 질문으로 실행하여 오류가 발생한 키를 찾은 다음, 100개로 실행합니다:
python3 benchmark.py --dataset frames --providers tavily,exa,brave --n 3 --workers 4
python3 benchmark.py --dataset frames --providers tavily,exa,brave --n 100 --workers 4
- 다른 세트를 위해
--dataset을 simpleqa 또는 freshqa로 변경합니다. --dataset obnews는 100개의 공개 Openbenchmarks 회사 뉴스 질문들을 동일한 하네스에 로드합니다.
이 하네스(harness)에는 자체 질문 파일 옵션이 없으므로, 에이전트의 질문과 가장 유사한 세트를 선택하세요.
웹 검색 API 벤치마크는 어떻게 읽어야 할까요?
- 누가 운영했나요? 발행자가 표에서 API를 판매하는지, 그리고 공급업체에 서비스를 판매하는지를 확인하세요.
- 단일 검색인가요, 에이전트 루프인가요? 단일 검색은 결과 페이지를 측정합니다. 25회의 호출을 하는 에이전트는 약한 API를 강력하게 보이게 만들 수 있습니다.
- 각 API의 어떤 모드인가요? Openbenchmarks 조회 결과에 따르면, Tavily advanced는 93.0%, Tavily basic은 87.7%를 기록했습니다. 점수는 테스트된 모드에 속합니다.
- 답을 볼 수 있나요? 공개 질문 세트와 채점된 답변이 있으면 결과를 직접 확인할 수 있습니다. 제외된(held-out) 세트는 보드를 튜닝으로부터 보호하지만, 이를 확인할 수는 없습니다.
- 질문은 몇 개이며, 언제인가요? 120개의 질문으로 인해 AIMultiple의 상위 구간들이 중첩됩니다. 가격, 인덱스 및 모드는 매월 변경됩니다.
어떤 벤치마크가 Serper 또는 SerpApi를 Tavily, Exa, Brave와 비교하나요?
세 개의 독립적인 보드 중 어느 곳도 Serper 또는 SerpApi(두 가지 Google SERP API)를 테스트하지 않습니다. Openbenchmarks에는 하나의 Google 엔드포인트가 있으며, RapidAPI 목록은 조회(lookups)에서 96.0%를 기록했고 페이지 가져오기 없이 다단계 검색(multi-hop search)에서 F1 점수 0.4로 해당 보드에서 가장 낮은 점수를 받았습니다. Google 결과는 Serper를 통한 Tavily의 하네스와 SerpApi 및 cloro를 통한 여섯 가지 API 벤치마크로 나타납니다.
이 내용은 어떻게 확인되었나요?
이 기사는 여섯 가지 API 중 하나를 자체 벤치마크에서 판매하고 해당 벤치마크를 실행한 cloro가 게시했습니다. cloro는 Openbenchmarks, AIMultiple 또는 Artificial Analysis 보드에 속하지 않습니다. 모든 제3자 수치는 위에 있는 링크를 통해 2026년 11월 15일에 자체 페이지나 저장소에서 읽었습니다. 여섯 가지 API 관련 수치는 재계산된 것이 아니라 벤치마크 README에서 복사되었으며, FRAMES 열은 위쪽의 --summary 명령을 사용하여 다시 인쇄되었습니다. 비용(cost), 지연 시간(latency) 및 대결 테스트는 벤치마크 작성 문서에 있습니다.