Cloudflare는 AI 기업들이 콘텐츠에 대해 게시자에게 자동으로 비용을 지불하도록 강제하지는 않습니다. 하지만 2026년 9월 15일부터, 게시자가 다른 설정을 선택하지 않는 한, 많은 광고 지원 Cloudflare 페이지에서 AI 학습용 크롤러 (AI training crawlers), AI 에이전트 (AI agents), 그리고 혼합 용도 봇 (mixed-use bots)을 기본적으로 차단할 예정입니다. 실질적인 변화는 Cloudflare가 '기본 차단 (default-deny)' 액세스 방식을 사용하여, AI 기업들이 별도의 크롤러 식별 정보를 갖게 하거나 Pay Per Crawl 및 TechCrunch에서 보도한 더 넓은 범위의 Pay Per Use 모델과 같은 유료 액세스 시스템을 사용하도록 유도하는 것입니다.

Cloudflare는 보안, 캐싱, 트래픽 관리를 처리하며 수많은 사이트의 전면에 위치한 웹 인프라 기업입니다. 이러한 위치 덕분에 Cloudflare의 새로운 AI 크롤 제어 카테고리 (AI Crawl Control categories)는 이례적인 영향력을 갖게 됩니다. 이는 게시자 협회가 정중하게 요청하는 것이 아니라, 네트워크 게이트키퍼 (gatekeeper)가 봇이 페이지에 도달하는 방식에 대한 기본 규칙을 변경하는 것입니다.

9월 15일부터 광고 페이지의 학습 및 에이전트 크롤러에 대한 기본 차단 적용

9월 15일에 변경되는 것은 기본 설정이지, 보편적인 통행료가 아닙니다. 2026년 7월 1일 발표에서 Cloudflare는 광고 지원 페이지가 기본적으로 세 가지 카테고리를 차단할 것이라고 밝혔습니다: 학습에 사용되는 AI 크롤러 (AI Crawler) 봇, 사용자를 대신하여 활동하는 AI 에이전트 (AI Agent) 봇, 그리고 검색/탐색 기능과 학습 또는 에이전트 기능을 결합한 혼합 용도 (mixed-use) 크롤러입니다.

이것이 중요한 이유는 Cloudflare가 이제 봇 참조 (bot reference)에서 봇의 목적을 더욱 명확하게 구분하기 때문입니다. _AI 검색 (AI Search)_은 _AI 크롤러 (AI Crawler)_와 구별되며, 퍼블리셔(publishers)는 이들을 다르게 취급할 수 있습니다. 답변 엔진 검색을 위해 인덱싱만 수행하는 봇은 허용될 수 있지만, 모델 학습까지 수행하는 봇은 차단될 수 있습니다.

Cloudflare는 이 기본 설정이 모든 유료 Cloudflare 고객에게 자동으로 적용되는 것이 아니라, 새로운 도메인, 기존 고객이 생성한 새로운 사이트, 그리고 기존 무료 고객에 적용될 것이라고 밝혔습니다. 이는 “이제 웹 전체가 AI에 비용을 청구한다”는 것보다는 범위가 좁은 출시 방식이지만, 여전히 의미 있는 수준의 사이트들을 포괄합니다.

압박 지점은 혼합 용도 (mixed-use) 봇입니다. 만약 AI 기업이 검색 노출과 모델 학습을 위해 하나의 크롤러를 모두 사용한다면, Cloudflare의 새로운 기본 설정은 해당 설계를 비용이 많이 들게 만듭니다. 깔끔한 해결책은 기능을 별도의 검증된 크롤러로 분리하여, 퍼블리셔가 학습은 차단하면서 검색은 허용할 수 있도록 하는 것입니다. 이는 AI 웹 스크래핑 장벽 (AI web-scraping barriers)의 광범위한 상승 추세와 일치합니다. 즉, 인프라 계층이 단순히 하나의 “우리를 믿어달라”는 유저 에이전트 (user agent)가 아니라, 더 세분화된 봇 식별 정보를 요구하기 시작한 것입니다.

Pay Per Crawl이 Ceramic 및 You.com과 함께 사용량 기반 결제로 확장됨

Cloudflare의 결제 시스템은 퍼블리셔가 봇의 접근을 차단, 허용 또는 과금하도록 선택할 수 있게 해주지만, 여전히 부분적으로 실험적인 단계입니다. 이 회사의 Pay Per Crawl 가입 페이지는 여전히 이 제품을 _프라이빗 베타 (private beta)_로 표시하고 있으며, 지불 문서 (payout documentation)에는 Cloudflare가 요금을 청구하고 이를 집계하여 퍼블리셔에게 월별로 지급하는, Stripe를 통해 실행되는 워크플로우가 나타나 있습니다.

실제로 이 모델은 매우 단순합니다. 퍼블리셔(Publisher)가 적격한 크롤러 요청에 대한 가격을 설정하면, Cloudflare가 해당 크롤러의 허용 여부를 확인하고, 허용될 경우 결제 및 지급(payout) 인프라를 처리합니다. 이는 인간을 위한 페이월 (Paywall)이라기보다는 봇을 위한 톨게이트 (Toll booth)에 가깝습니다.

TechCrunch의 보도에 따르면, Cloudflare는 이미 해당 아이디어를 건당 크롤링 과금(per-crawl billing)을 넘어 더 넓은 범위의 사용량 기반 과금 (Pay Per Use) 시스템으로 확장하고 있으며, Ceramic과 You.com이 초기 파트너로 지명되었습니다. 이것이 중요한 이유는 요청당 과금이 분쟁의 한 부분만을 해결하기 때문입니다. AI 기업들은 단순히 과거 방식의 스크래핑 (Scraping)뿐만 아니라, 검색 (Retrieval), 답변 생성, 그리고 에이전트 워크플로우 (Agent workflows)를 위한 접근 권한을 점점 더 원하고 있습니다.

“그들이 당신의 콘텐츠를 소비할 것이라면, 당신의 콘텐츠에 대해 비용을 지불해야 합니다.” Cloudflare의 CEO인 Matthew Prince는 Axios와의 인터뷰에서 회사의 입장을 이와 같이 설명했습니다.

이는 또한 이 정책이 라이선싱 정치 (Licensing politics)와 더 직접적으로 맞닿는 지점이기도 합니다. Cloudflare가 저작권법을 결정하는 것은 아니지만, 네트워크 에지 (Network edge)에서 “지불하거나, 아니면 나가라 (Pay or stay out)”를 더 쉽게 집행할 수 있는 인프라를 구축하고 있습니다. 이는 AI 기업들이 허가 없이 무엇을 수집할 수 있는지에 대해 법적 시스템이 여전히 정립 중인 Meta 저작권 소송 (Meta copyright lawsuit)과 같은 사례들과 동일한 광범위한 투쟁의 흐름 속에 있습니다.

Cloudflare의 리퍼럴 비율은 퍼블리셔의 협상력 문제를 수치화한다

Cloudflare가 이러한 추진력을 얻는 근거는 트래픽에 대한 직설적인 주장(claim)에 기반합니다: AI 크롤러(AI crawlers)는 전통적인 검색 엔진보다 퍼블리셔(publishers)에게 되돌려주는 트래픽이 훨씬 적다는 것입니다. Axios 인터뷰에서 최고경영자(CEO) Matthew Prince는 Google이 약 18번의 크롤링(crawls)마다 방문자 1명을 보내는 반면, OpenAI는 약 1,500번의 크롤링마다 1명을, Anthropic은 약 60,000번의 크롤링마다 1명을 보낸다고 밝혔습니다.

이를 구체화하는 간단한 방법은 다음과 같습니다: Prince의 수치를 사용하면, Anthropic의 보고된 크롤링 대비 리퍼럴(crawl-to-referral) 비율은 Google의 비율보다 약 3,333배 더 나쁩니다 (리퍼럴 1회당 60,000번의 크롤링 vs 18번의 크롤링 기준). 이것이 바로 협상력(leverage) 문제의 핵심입니다. AI 시스템은 퍼블리셔들이 비즈니스를 구축해 온 기반인 보상적 클릭(compensating clicks)을 보내지 않으면서도 페이지로부터 가치를 추출할 수 있습니다.

이 수치들은 기업이 보고한 것이며, 독립적으로 감사된 산업 데이터셋은 아닙니다. 하지만 이 수치들은 왜 Cloudflare가 이 문제를 단순한 봇 관리(bot-management)의 미세 조정이 아니라, 퍼블리셔들에게 실존적인 비즈니스 문제로 규정하고 있는지를 설명해 줍니다.

만약 시스템이 Cloudflare의 희망대로 작동한다면, 즉각적인 승자는 광고 인벤토리(ad inventory)를 보존하고 싶어 하거나 더 강력한 시작점에서 라이선스를 협상하고자 하는 퍼블리셔들입니다. 즉각적인 패자는 AI 기업들입니다. 이들의 크롤러는 검색, 학습, 에이전트(agent) 활용의 경계가 모호한데, 가장 저렴한 운영 습관인 '모든 용도에 하나의 봇 사용'이 이제 기본 차단(default blocks) 설정과 충돌하게 되었기 때문입니다.

다음 이정표는 수사적인 차원을 넘어 실제 운영 단계로 넘어갑니다. 2026년 9월 15일은 해당되는 Cloudflare 고객들에게 새로운 기본 설정(defaults)이 적용되기 시작하는 시점이며, Pay Per Crawl는 프라이빗 베타(private beta) 상태를 유지하고 있으며 더 광범위한 사용량 기반 과금(pay-per-use) 모델은 여전히 형성되는 단계에 있습니다.

핵심 요약 (Key Takeaways)

• Cloudflare는 AI 기업들에게 콘텐츠에 대한 비용을 자동으로 청구하는 것이 아닙니다. 대신 2026년 9월 15일부터 많은 광고 지원 페이지(ad-supported pages)에 대해 학습용, 에이전트용 및 혼합 용도 크롤러(mixed-use crawlers)를 차단하도록 기본 설정(defaulting)을 적용합니다.
• 9월 15일의 기본 설정은 새로운 도메인, 기존 고객이 설정한 새로운 사이트, 그리고 기존 무료 고객에게 적용되며, 모든 유료 Cloudflare 고객에게 자동으로 적용되는 것은 아닙니다.
• Cloudflare의 시스템은 AI 검색 봇(AI Search bots)과 AI 학습 크롤러(AI training crawlers)를 구분하며, 이는 AI 기업들이 혼합 용도 봇(mixed-use bots)을 별도의 정체성으로 분리하도록 압박을 가합니다.
• Pay Per Crawl를 통해 퍼블리셔는 크롤러를 차단, 허용 또는 과금할 수 있으며 Stripe 기반의 월간 지급이 이루어지지만, 이 제품은 여전히 프라이빗 베타(private beta)로 기재되어 있습니다.
• 퍼블리셔의 피해에 대한 Cloudflare의 주요 근거는 Matthew Prince가 보고한 크롤 대비 참조(crawl-to-referral) 비율입니다: Google은 18:1, OpenAI는 1,500:1, Anthropic은 60,000:1입니다.

추가 읽기 (Further Reading)

• Your site, your rules: new AI traffic options for all customers — 새로운 AI 봇 카테고리와 9월 15일 기본 차단 (default-block) 규칙에 대한 Cloudflare의 발표.
• Cloudflare’s new policy pushes AI companies to pay for publishers’ content — 도입 범위와 사용량 기반 과금 (Pay Per Use) 모델로의 전환에 대한 TechCrunch의 보도.
• Get early access: Cloudflare Pay Per Crawl Private Beta — 퍼블리셔가 제어하는 봇 과금 기능을 제공하는 Cloudflare의 제품 페이지.
• Manage payouts · Cloudflare AI Crawl Control docs — Stripe 설정, 결제 (billing), 집계 (aggregation) 및 월간 지급 (monthly payouts)에 관한 문서.
• Publishers facing existential threat from AI, Cloudflare CEO says — 크롤링 대비 추천 (crawl-to-referral) 비율에 관한 Matthew Prince와의 Axios 인터뷰.

원문 게시지: novakown.com