에이전트나 RAG 파이프라인이 라이브 웹(live web)을 읽어야 한다면, 페이지를 로드하고 내비게이션 바와 쿠키 배너는 제거하며, 컨텍스트 예산에 맞게 충분히 작은 Markdown 형식으로 반환해주는 무언가가 필요합니다. Firecrawl은 이 기능을 단 하나의 API 호출로 구현했기 때문에 많은 팀들이 가장 먼저 찾게 됩니다.
Firecrawl은 9월에 $75M 규모의 Series B 투자를 유치했습니다 (Smash Capital이 주도했으며, 소식은 2026년 9월 22일에 공개됨). 이 기회를 이용해 Firecrawl은 에이전트용 지식 라이브러리라고 설명하는 Alexandria를 출시했습니다. 자금 조달 라운드는 청구서를 확인하기 좋은 구실이 되었고, 저는 Firecrawl과 다른 8가지 대안에 대해 일반적인 작업(ordinary job)의 가격을 비교해 보았습니다. 전체 내용은 스크린샷과 모든 가격 주석이 포함되어 DevToolLab에서 확인할 수 있으며, 여기는 요약본입니다. 간단히 말하자면, Firecrawl은 월 $94에 비용이 청구되며, Tavily는 동일한 작업을 $30에 수행하고, Exa는 $20, Jina Reader는 $1.51부터 $15.77까지의 가격대를 형성합니다.
Firecrawl 크레딧 미터 작동 방식
모든 작업은 하나의 크레딧 잔액을 소진시킵니다 (가격은 2026년 9월 4일부로 유효하며, 저는 10월 14일에 확인했습니다). 페이지 스크래핑(Scraping), 크롤링(crawling) 또는 매핑(mapping)은 1 크레딧이 소요됩니다. 검색 결과 10개는 2 크레딧입니다. JSON, 질문(Question) 또는 강조 표시(Highlight) 출력 형식을 요청할 때마다 각 페이지가 4개의 추가 크레딧을 사용하게 되며, 이는 구조화된 출력이 일반 Markdown보다 5배 비싸다는 것을 의미합니다. 심지어 403 또는 404 응답도 1 크레딧을 소모합니다.
제공되는 티어는 네 가지입니다: Hobby(월 $19에 5,000 크레딧), Standard(월 $99에 100,000 크레딧), Growth(월 $399에 500,000 크레딧), Scale(월 $749에 1,000,000 크레딧)입니다. 연간 결제 시 약 16~20%가 할인되며, Hobby 사용자는 추가 1,000 크레딧 블록당 $5를 지불합니다.
Firecrawl homepage with Search, Scrape, Map and Crawl tabs and its GitHub star count
이러한 이유들로 인해 여러 서비스를 비교해 볼 수 있습니다. 가장 많은 비용을 차지하는 부분이 JSON 추출일 수도 있고, 검색 결과만 필요할 수도 있으며, AGPL-3.0 라이선스가 자체 호스팅(self-hosted) 버전을 배포하려는 방식과 충돌할 수도 있습니다.
테스트 작업: Stripe 규모 문서의 주간 재색인
매주 문서를 다시 읽는 지원 봇을 상상해 보세요. 2026년 10월 14일 기준으로, Stripe 문서 사이트맵에는 4,946개의 URL이 있었고, 이 정도 규모의 사이트를 주간으로 네 번 처리하면 한 달에 약 20,000회의 요청(fetches)이 발생합니다.
이 서비스들 중 두 개는 페이지 수 대신 출력 크기(output size)를 기준으로 비용을 청구하므로, 저는 해당 사이트맵에서 균등하게 분산된 10개 페이지를 가져왔습니다. Jina Reader를 사용했을 때 일반적인(중앙값) 페이지당 토큰 수는 1,511토큰이었습니다. 하지만 React SDK 참고 페이지 하나가 자체적으로 143,348토큰을 생성하여 평균을 15,770토큰까지 끌어올렸습니다. 원본 HTML은 페이지당 평균 922,459바이트에 달했습니다. 측정된 계산은 직접 확인해 볼 만큼 간단합니다:
const PAGES = 20_000
const JINA_PER_MILLION_TOKENS = 0.05 // Jina Reader 출력 토큰
const SPIDER_PER_GB = 1 // Spider 대역폭, CPU 시간 제외
...
플랜 기반 서비스의 경우, 공개 페이지에 대해 Markdown을 반환하는 가장 낮은 등급을 사용했습니다:
| 서비스 | 한 달, 20,000 페이지 | 도달 방법 |
|---|
| Firecrawl | $94 | 취미용(Hobby), 종량제 크레딧으로 충당 |
| ... | | |
| Anti-bot 처리를 활성화하거나, JavaScript가 많은 페이지를 처리하거나, JSON을 요청할 경우 이 숫자들은 모두 높아지며, 단일 사이트 내에서 토큰 및 바이트 측정값은 10배까지 다양하게 변동합니다. Firecrawl Standard로 1년 계약하면 월 $83으로 낮아집니다. 사용자가 직접 페이지 수를 입력하고 싶다면, 원문 기사에 모든 등급을 다루는 전체 비용 스크립트가 있습니다. | | |
Crawl4AI: 오픈 소스, 측정 기준 없음
Crawl4AI는 Apache 2.0 라이선스 하의 Python 라이브러리입니다. 헤드리스 브라우저를 구동하여 마크다운(Markdown)을 반환하며, API 키가 필요 없고 사용량 측정(metering)도 없습니다. pip install -U crawl4ai를 실행한 후, crawl4ai-setup을 실행하고 라이브러리로 사용하거나 자체 VPC 내의 Docker 서버로 사용할 수 있습니다. SOC 2 또는 HIPAA 규정을 준수해야 하는 경우 이것이 장점입니다. 페이지가 네트워크 외부로 나가지 않기 때문입니다.
Crawl4AI GitHub repository showing the Apache-2.0 license and star count
대신 지불해야 하는 것은 운영 작업(operations work)입니다. 프록시(proxies), CAPTCHA, 차단된 IP를 직접 처리해야 하며, 브라우저 플릿(browser fleet)을 확장하는 것 또한 사용자의 임무입니다. 해당 레포지토리는 85,485개의 GitHub 스타를 보유하고 있으며, v0.9.4 버전은 2026년 9월 23일에 출시되었습니다. 무료 크레딧 2,000개를 제공하는 호스팅된 버전도 있으며, 유료 플랜은 $10부터 시작합니다.
Firecrawl 자체를 셀프 호스팅(Self-hosting)하기
Firecrawl 문서의 셀프 호스팅 가이드는 Docker Compose 파일에서 동일한 API를 가져오므로, 기존 클라이언트 코드는 새로운 기본 URL만 필요하며 사용량 측정은 없습니다. 이 API와 워커(workers) 뒤에는 Redis, RabbitMQ, FoundationDB, PostgreSQL 기반의 큐(queue), Playwright가 자리하고 있으며, 포트 3002에서 노출되는 것은 오직 API뿐입니다.
실제 환경에 적용하기 전에 레포지토리의 SELF_HOST.md를 읽어보십시오. 인증은 기본적으로 비활성화되어 있습니다(off out of the box). Compose 파일에는 영구 볼륨(persistent volumes)이 선언되어 있지 않아 컨테이너 재구축 시 데이터가 유지되지 않습니다. 페이지는 번들된 Playwright로 가져오며, Fire-engine (Firecrawl의 스크래핑 엔진)과 AI 기능은 별도의 설정 작업이 필요합니다. 또한 라이선스 문제가 있습니다: AGPL-3.0 하에, 네트워크 서비스로 실행되는 수정된 사본은 이를 사용하는 사람들에게 소스 코드를 공개해야 합니다. 해당 레포지토리는 191,299개의 스타를 보유하고 있으며 v2.11 라인에 속해 있고, 가이드는 이를 v2.11.162로 고정합니다.
Jina Reader: 토큰 단위로 청구되는 URL 접두사
URL 앞에 https://r.jina.ai/를 붙이면 Jina Reader가 해당 페이지를 Markdown 형식으로 반환하며, 검색 쿼리에는 s.jina.ai를 사용하면 동일하게 작동합니다. Jina AI는 2025년 10월에 Elastic에 합류했습니다.
10억 토큰당 $50, 즉 백만 토큰당 $0.05로, 이 정리된 내용에서 측정되는 비용 중 더 저렴한 것은 없습니다. 키 없이 분당 요청 제한은 20회이며, 키가 있으면 500회입니다. Jina는 2026년 4월에 오픈 소스 브랜치(Apache-2.0, 12,147개 스타)를 프로덕션에서 실행되는 것과 일치하도록 업데이트하여, 자체 호스팅을 하면 호스팅된 동작을 얻을 수 있습니다.
문제는 예측 가능성입니다. 가지고 있는 페이지 수가 몇 개인지 알아도 청구서에 대해서는 거의 아무것도 알려주지 못합니다. 제가 샘플링한 10개 페이지는 낮은 경우 181 토큰, 높은 경우 143,348 토큰을 차지했습니다. 새로운 키를 받으면 1,000만 개의 무료 토큰이 제공되지만, 이는 비상업적 작업에 한정되며, 각 검색은 최소 10,000 토큰을 청구합니다.
Spider: 기가바이트(GB) 단위로 청구
Spider는 Rust와 MIT 라이선스로 작성된 자체 크롤러를 기반으로 크롤링 API를 판매하며, 페이지 수 대신 대역폭과 컴퓨팅 자원에 대해 과금합니다. 비용은 1GB당 $1에 CPU 분당 $0.0001을 추가로 지불해야 합니다. 요청 실패 시 아무것도 지불하지 않으며, JavaScript 렌더링은 가격 승수(price multiplier)가 아닌 CPU 시간으로 표시됩니다. 그리고 무제한 플랜은 요청 수 대신 동시 슬롯(concurrent slots)에 대해 청구하며, 2개의 슬롯의 경우 월 $40부터 시작합니다.
이 모델은 페이지가 많은 경우 비싸집니다. Stripe 문서 페이지당 HTML이 약 922 KB인 경우, 이 작업은 CPU 시간을 제외하고만 $18.45가 들고, 데이터 보존이 없는 경우 기본 요금의 2.5배가 청구됩니다. spider 크레이트는 2026년 9월 5일에 게시된 v2.53.9입니다.
Exa: 페이지 텍스트도 반환하는 인덱스
Exa(https://exa.ai/)는 에이전트를 목표로 자체 웹 인덱스를 운영합니다. Contents 엔드포인트에 URL 목록을 제공하면 캐시에서 가져온 전체 텍스트를 반환하며, 라이브 크롤링으로 폴백(fallback)됩니다. 가격은 고정되어 있습니다: 페이지당 $1이며 플랜 비용이 없고, 요청 1,000건당 $4~$15 사이의 비용이 발생하고 매월 $10의 무료 크레딧이 제공됩니다.
트레이드오프는 제어권입니다. 크롤러를 직접 조종하는 것이 아니라 다른 사람의 인덱스를 조회하는 것이기 때문에, 자체 호스팅(self-host)할 수 없고, 라이브 크롤링 정책을 구성하지 않으면 실제 페이지와 차이가 나는 캐시된 사본을 받을 수도 있습니다. 이는 독점적인 서비스입니다.
Tavily: 검색 및 추출 기능을 한 곳에서
Tavily(https://www.tavily.com/)는 단일 크레딧 잔액으로 검색, 추출, 매핑, 크롤링 엔드포인트를 제공합니다. 2026년 2월 10일에 Nebius가 이 회사를 인수하기로 합의했다고 밝혔으며, 사이트 로고에는 현재 'by Nebius'라고 적혀 있습니다.
Tavily by Nebius homepage with search, extract, crawl and research tabs
기본 Extract 호출은 성공하는 URL 5개당 1 크레딧으로 청구되므로, 20,000 페이지는 $30 Project 플랜의 4,000 크레딧에 정확히 들어옵니다. 추출에 실패한 경우 비용이 청구되지 않으며, 기본 검색은 1 크레딧이 소요됩니다. 단점으로는, 크롤링 시 추가 매핑 비용(페이지당 10개당 1 크레딧)이 발생하고, 고급 추출 깊이는 두 배의 비용이 들며, 자체 호스팅 옵션이 없다는 점입니다. 무료 등급은 월 1,000 크레딧이며, Bootstrap은 15,000 페이지에 $100이고, 플랜을 초과하는 크레딧은 각각 $0.008입니다.
ScrapeGraphAI: 데이터를 설명하고 JSON 얻기
ScrapeGraphAI는 MIT 라이선스의 Python 라이브러리로 시작했습니다. 페이지와 일반 영어 프롬프트를 제공하면, 이 두 가지를 LLM으로 보내고 JSON을 받게 됩니다. 요즘에는 호스팅 API도 판매합니다. 구조화된 추출(Structured extraction)이 핵심입니다. 각 Extract 호출은 5 크레딧이며, 이는 Firecrawl이 하나의 JSON 페이지에 부과하는 비용과 일치합니다. 또한 이 라이브러리는 로컬 Ollama 모델과 통신할 수 있어 추출 과정이 기기를 벗어날 필요가 없습니다.
검색(Search) 기능에서 비용이 높아집니다. 모든 결과는 2 크레딧이며, 따라서 10개의 결과를 요청하면 20 크레딧이 소요됩니다. 'stealth' 안티봇 모드를 활성화하면 모든 호출에 5 크레딧이 추가됩니다. 라이브러리를 실행하기 전에 playwright install과 모델이 필요합니다. Starter 플랜은 10,000 크레딧에 20달러이고 Growth 플랜은 100,000 크레딧에 100달러입니다. 이 라이브러리는 v2.3.1 버전이며, 2026년 10월 6일에 출시되었습니다.
Browserbase: 까다로운 페이지를 위한 실제 브라우저
Browserbase는 에이전트를 위한 클라우드 브라우저 서비스이며, 이제 브라우저 외에 Fetch 및 Search API도 추가했습니다. MIT 라이선스의 프레임워크인 Stagehand(25,660 스타, v3.7.3)가 자연어 액션으로 해당 브라우저들을 제어합니다. 페이지가 로그인, 폼 또는 다단계 흐름 뒤에 있는 경우 이 서비스를 선택해야 합니다. 페이지를 Markdown으로 변환하는 엔드포인트로는 이러한 작업을 수행할 수 없습니다.
순수 Markdown의 경우 비용이 많이 드는 방법입니다. Developer 플랜에서는 Fetch가 호출당 1,000회에 $1로 원시 HTML을 반환하지만, Markdown 또는 JSON 출력은 Fetch Extract로 청구됩니다($1,000회당 4달러). 이것이 이 작업을 총 96달러까지 올리는 요인입니다. Fetch는 JavaScript를 실행하지 않으며, 5MB의 응답 제한이 있습니다. Developer 플랜은 브라우저 시간 100시간을 포함하여 월 20달러이며(추가 시간당 $0.12), Startup 플랜은 99달러입니다.
한눈에 보는 여덟 가지 도구
| Tool | Bills by | Search API | Self-host | License |
|---|
| Firecrawl | Credits per page | Yes | Yes | AGPL-3.0 |
| ... | | | | |
