제 데이터베이스는 하루에 5백만 건의 읽기(reads) 제한이 있는 무료 등급(free tier)에 있었고, 현재 480만 건 정도를 사용하고 있었습니다. 이유를 알 수 없어 라이브 트래픽을 75초 동안 지켜보았습니다.
총 요청 89건 중 52건(58%)이 하나의 사용자 에이전트(user agent)인 ElevenlabsCrawler/1.0에서 발생했습니다.
ElevenLabs는 크롤러가 자체 모델 학습에 사용될 수 있는 콘텐츠를 수집한다고 문서화하고 있습니다. 이 크롤러는 제 카탈로그의 2만 페이지 전체를 하나씩 돌아다니고 있었습니다. 페이지들은 캐시(cache)되었지만, 크롤러는 거의 같은 페이지를 두 번 요청하지 않기 때문에 거의 모든 방문이 캐시를 건너뛰었고 데이터베이스 읽기 비용을 발생시켰습니다.
제가 한 일
저는 저만의 종량제 크롤링 도구(pay-per-crawl tool)를 이 크롤러에게 겨누었습니다. 이제 해당 페이지에 접근하는 AI 크롤러들은 HTTP 402 Payment Required 오류와 함께 $0.001 USDC의 가격을 받게 되었으며, 이는 x402를 통해 결제할 수 있습니다. 비용을 지불하면 페이지에 접근할 수 있습니다.
- 사람들과 Google은 이전과 완전히 동일한 페이지를 보게 됩니다.
- 저의 홈페이지와 문서(docs)는 모든 봇에게 무료로 유지되므로, 여전히 AI 답변에 노출됩니다.
- 크롤러는 사용자 에이전트와 회사들이 공개하는 IP 범위(OpenAI, Perplexity, DuckDuckGo, Common Crawl 등)를 통해 인식됩니다.
- 402 오류 메시지에는 지갑 없이도 결제 방법을 명확하게 설명합니다.
발생한 일
| 이전 | 이후 |
|---|
| ElevenlabsCrawler 요청 점유율 | 89건 중 52건 (58%) | 20분 후 49건 중 0건; 한 시간 후에도 33건 중 0건 |
| ... | | |
결제했나요? 아니요. 멈췄습니다. 대부분의 크롤러는 아직 결제가 불가능하므로, 현재 가격은 사람이나 검색 엔진, 또는 인용되기를 원하는 AI 비서들을 차단하지 않으면서도 무료 대량 복사를 막는 블록 역할을 합니다. 에이전트들이 지갑을 갖추기 시작하면, 동일한 대응 방식이 수익을 창출하기 시작할 것입니다.
이것들은 짧은 샘플일 뿐 연구 결과는 아닙니다. 데이터베이스 수치는 지난 24시간 동안의 누적치(rolling)이므로, 변경 후 하루 동안 계속 하락하는 경향이 있습니다.
솔직한 한계점
이 방식은 자신을 밝히거나 회사에서 공개한 IP 범위를 사용하는 봇만 포착합니다. Anthropic, ByteDance, Meta는 자체 IP 범위를 공개하지 않습니다. 임의 서버에서 Chrome인 척하는 스크래퍼도 여전히 페이지에 접근할 수 있으며, 이는 robots.txt와 동일합니다.
내가 배운 두 가지 사실
- 가장 많은 방문자가 사람이 아닐 수 있습니다. 저는 이 사실을 원본 트래픽(raw traffic)을 읽어보면서 알게 되었습니다. 대부분의 분석 도구는 봇을 숨깁니다.
- 크롤러의 사용자 에이전트(user agent)는 명함과 같습니다. ElevenLabs는 자체 사용자 에이전트를 통해 봇 문서를 연결했고, 저는 이를 통해 그 정체를 알게 되었습니다. 만약 봇을 운영한다면, 똑같이 하세요.
직접 시도해 보세요