DeepSeek 검색 및 페이지 가져오기 API, 성공 요청 1,000건당 0.75달러
요약
본 글은 다양한 검색 및 웹페이지 가져오기 API 서비스들을 비교 분석하고 있습니다. DeepSeek의 검색 API가 경쟁력 있는 가격과 성능으로 주목받으며, 기존 상용 서비스(Brave Search, Kagi 등) 대비 비용 효율성을 강조합니다. 또한, 봇 차단 우회와 대규모 스크래핑을 위한 기술적 고려 사항도 다루고 있습니다.
핵심 포인트
- DeepSeek 검색 API는 경쟁력 있는 가격과 성능으로 주목받음.
- 상용 서비스들은 높은 비용(Kagi $12/1k)이 발생함.
- 대규모 웹 크롤링에는 자체 프록시 군 구축이 필요할 수 있음.
- API 사용 시 봇 차단 우회 및 트래픽 관리가 중요 이슈임.
이런 호스팅형 검색 서비스를 실제로 어디에 쓰는지 궁금함. 개인 용도로는 내가 만든 searxng-ai-kit이나 비슷한 도구가 무료라 훨씬 경제적이었음. oh-my-pi도 비슷한 방식으로 검색 결과를 바로 스크래핑해 주므로 API 키나 검색 서비스가 필요 없음. https://github.com/nikvdp/searxng-ai-kit
비교하자면 Brave Search API는 5달러, Kagi API는 12달러임.
Ceramic.ai는 검색 1,000회당 0.25달러임. OpenCode에서 MCP로 쓰고 있는데 충분히 쓸 만해 보임. 별로 알려지지 않은 듯하며, Exa/Tavilly와 성능을 비교해 보지는 않았음.
Mojeek은 1,000회당 2파운드임. 다른 검색엔진의 결과 페이지에 의존하지 않는 자체 색인을 보유하고 있으며, 주관적으로는 Google과 꽤 비슷한 수준임. Bing/DDG보다 선호함.
LinkUp은 페이지 가져오기에 1달러, 검색에 5달러임.
Exa는 4달러, SERP API는 1.50달러임.
이런 서비스는 봇 차단을 얼마나 잘 처리하나? Cloudflare 체크박스나 Anubis로 보호된 페이지를 가져오려 하면 오류가 나나, 쓸모없는 내용이 반환되나, 아니면 원하는 본문을 얻을 수 있나?
소개에 따르면 Search API는 DeepSeek 자체 검색엔진으로 질의에 맞는 웹페이지를 찾아 구조화된 결과를 반환함. 자체 색인을 구축했거나 구축 중이며, 캐시된 결과를 돌려주는 것으로 보임. 실제 페이지에 접속하려면 별도로 봇 탐지를 통과해야 함.
Anubis를 쓰는 이유 중 하나는 AI 기업의 끝없는 요청을 막기 위해서임. DeepSeek이 몇 시간에 한 번만 수집한다면 접근을 허용하면서도 사이트 운영자의 트래픽 부담을 줄일 수 있음. 접근 자체를 원치 않는 사이트에 대해서는 검색 크롤러가 robots.txt를 따를 것으로 추측하지만, 확실하지는 않음.
서비스와 페이지마다 달라서 하나의 답은 없음. Claude와 ChatGPT 같은 미국 서비스 대부분은 차단하기 쉬운 특정 사용자 에이전트를 보내며, 봇 보호 장치를 우회하려 하지 않음.
반면 다른 서비스는 브라우저 사용자 에이전트나 무작위 데이터센터 IP, 가정용 IP 등을 쓸 수 있음. 결국 개별 페이지의 차단 설정에 따라 성공 여부가 크게 달라짐.
Google Captcha v3를 제외하면 쉽게 우회할 수 있지만, 대규모로 하려면 자체 프록시 군이 필요함.
약 1년 전에 외부 스크래핑 서비스를 기반으로 에이전트용 검색·페이지 가져오기 MCP 도구를 직접 만들었음. OpenAI와 Anthropic의 통합 웹 도구보다 비용 효율이 15~20배 높음. DeepSeek이 지금 이렇게 경쟁력 있는 서비스를 내놓은 건 인상적임.
어떤 스크래핑 서비스를 썼는지 알려줄 수 있나?
Kagi API는 검색 1,000회당 12달러임. LLM과 연동할 때 쓰는 API 요금 기준이며, 월 10달러 요금제는 검색이 무제한이지만 그 인증 정보를 LLM에 연결하면 이용약관 위반임.
DeepSeek Flash는 Anthropic의 IPO를 앞둔 시점에 정말 곤란한 경쟁자로 등장함. 매일 쓰는데 최첨단 모델들과 대등한 수준이며, 검색은 차별화 요소 중 하나임.
앱 전체를 바이브 코딩하는 데는 절대 최첨단 수준이 아니지만, 방향을 잡아 주며 작업할 때는 훌륭함.
Opus 5.5와 대등한 수준은 전혀 아님.
누구 입장에서 보느냐에 따라 아주 좋은 시점일 수도 있음. 모두가 Anthropic의 성공을 바라는 건 아님.
모델은 4~6개월마다 나오고 있으며, Anthropic과 OpenAI를 비롯한 모든 업체가 이를 알고 있음.
공개 모델은 최첨단 수준이 아니라고 알고 있었는데, 그렇다면 대등하다고 하기는 어렵지 않나? 직접 써 보니 작업 종류에 따라 달라지는 것 같나?
API 키 없이 테스트할 방법이 있나? 내가 운영하는 대형 웹사이트가 검색 결과에 들어 있는지 궁금함. 우리 회사는 사이트 크롤링에 페이지당 1달러를 청구하며, 방화벽을 뚫고 들어오는 트래픽은 해킹된 가정용 인터넷 회선뿐임. 이 거액의 청구서를 누구에게 보내야 할지 꼭 알아야 함.
법률가는 아니지만, 내가 이 글을 읽는 데 조회당 1달러의 이용 조건을 붙이고 계속 읽으면 동의한 것으로 간주한다고 해서 청구할 수 있나? 그렇다면 이 댓글의 청구서는 어디로 보내면 되나?
청구와 실제 지불은 별개라는 건 알겠지만, 어떤 근거로 요금을 받을 수 있는지 궁금함.
DeepSeek은 가져온 페이지의 콘텐츠 제작자에게 대가를 지급하나?
본인은 지급하나?
검열 여부가 궁금함. 검열하지 않는다면 중국 본토 사용자들이 이 API로 만리방화벽을 우회할 수 있을 듯함. 물론 훨씬 나은 방법들도 있음.
AI 자동 생성 콘텐츠
본 콘텐츠는 GeekNews의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기