저는 생업으로 스크레이퍼(Scrapers)를 작성하기 때문에, 제가 편향되어 있을 수 있음을 인지하고 이 글을 읽어주시기 바랍니다. 하지만 7월 1일에 발생한 일은 가격 업데이트로 다뤄졌지만, 그것은 가격 업데이트가 아닙니다.

지난번에 저는 거대 연구소(Big labs)들이 사다리를 타고 올라간 뒤 그 사다리를 치워버리는 것에 대해 글을 쓴 적이 있습니다. 이것은 다른 관점에서 본 동일한 이야기입니다. 자신이 학습한 데이터를 두고 싸우는 회사의 이야기가 아닙니다. 길 위에 앉아 누가 그 길을 걸어갈 수 있는지를 결정하는 회사의 이야기입니다.

그들이 옳았던 부분부터 시작하자

이 문제에 대한 대부분의 견해는 게으릅니다. 그러니 먼저 그들이 잘한 부분부터 인정하고 넘어가겠습니다.

Cloudflare는 크롤링당 비용 지불(Pay per crawl) 방식에서 사용량당 비용 지불(Pay per use) 방식으로 전환했습니다. 이전 모델에서는 봇이 페이지를 가져올 때마다 최소 1센트의 수수료를 지불했습니다. 새로운 모델에서는 발행자(Publishers)의 콘텐츠가 AI 답변 내에 실제로 나타날 때 비용을 지급받습니다. 옵트인(Opt in)하면 콘텐츠가 다운스트림(Downstream)에서 사용되고, 돈이 돌아옵니다.

이것은 실제 사이트 소유자에게 전달되는 실질적인 보상이며, 이전 방식보다 낫습니다. 이것이 순수한 추출(Extraction)이라고 말하는 사람은 내용을 읽지 않은 것입니다. 저는 이 글의 나머지 부분을 더 강렬하게 만들기 위해 그렇지 않은 척하지 않겠습니다.

결제 방식은 괜찮습니다. 당신을 괴롭혀야 할 것은 결제 방식을 둘러싼 모든 것입니다.

누가 카테고리를 작성했는가

이제 AI 크롤러(AI crawlers)는 검색(Search), 에이전트(Agent), 학습(Training)의 세 가지 범주로 분류됩니다. 당신의 봇이 어떤 범주에 속하느냐에 따라 접근할 수 있는 범위와 비용이 결정됩니다.

단 한 회사를 제외하고는 아무도 이 카테고리들을 정의하지 않았습니다. 그 정의 안에 얼마나 많은 것들이 포함되어 있는지 생각해 보십시오. 연구용 크롤러는 에이전트인가, 아니면 학습용인가? 아카이브 봇(Archival bot)은 검색용인가? 도구를 만드는 소규모 팀은 정당한 리더(Reader)인가, 아니면 무허가 리더인가? 이것들은 무엇을 구축할 수 있는지에 대해 실질적인 결과가 따르는 정책적 질문들이며, 이 질문들은 제품 사양(Product spec) 내에서 답변되었습니다.

누가 희소성을 만들었는가

9월 15일부터 시작하여, 혼합 사용 크롤러(Mixed use crawlers)는 광고가 포함된 모든 페이지에서 기본적으로 차단됩니다.

이를 안전을 위한 조치라기보다는 비즈니스적 행보로 해석하십시오. 접근 권한(access)이 희소해지기 전까지는 접근 권한을 위한 시장(marketplace)을 운영할 수 없습니다. 시장을 운영하는 바로 그 회사가 희소성을 만들어내는 스위치 또한 소유하고 있으며, 각 사이트 소유자의 결정 없이 기본값(default)으로 모든 이에게 그 스위치를 한꺼번에 올려버렸습니다.

이것은 시장에 반응하는 기업의 모습이 아닙니다. 시장을 제조하는 기업의 모습입니다.

명단에 있는 자들

이 프로그램은 두 개의 파트너와 함께 시작되었습니다.

따라서 현 시점에서, 한 기업이 무엇을 독자(reader)로 간주할지, 무엇을 도둑(thief)으로 간주할지, 그리고 어떤 구매자가 그들 사이의 경계를 넘는 것이 허용될지를 결정합니다. 만약 당신이 무언가를 구축하고 있는데 명단에 없다면, 당신의 선택지는 결정될 요율(rate)만큼 지불하거나, 공개 웹(public web)의 상당 부분에 대한 접근 권한을 잃는 것뿐입니다.

이것은 많은 판매자와 많은 구매자가 존재하는 시장이 아닙니다. 이것은 대기 명단이 있는 라이선스 권한 기관(licensing authority)입니다.

스크레이퍼(Scrapers)들이 이미 알고 있었던 부분

이 분야의 모든 이들은 봇 차단(bot blocking)이 결코 진정으로 봇을 막기 위한 것이 아니었다는 사실을 수년 동안 이해해 왔습니다.

자동화된 접근을 진정으로 막을 수 있는 기업이라면, 그 기능을 한 번 출시하고 끝냈을 것입니다. 또한 그것은 현재 비즈니스를 구축하고 있는 수익원을 스스로 파괴하는 일이 될 것입니다. 인센티브는 언제나 단 한 방향만을 가리켰습니다. 구축된 것은 벽이 아니라, 앞면에 벽이 그려진 계량기(meter)입니다.

차단은 데모(demo)일 뿐입니다. 과금(billing)이 제품(product)입니다. 유료 API가 등장하는 순간, 챌린지 페이지(challenge page)가 얼마나 빠르게 쉬워지는지 지켜보십시오.

사이트 소유자들이 기이한 부분

수백만 개의 사이트가 몇 년 전 한 기업을 향해 DNS를 설정했습니다. 무료 티어(free tier)가 진정으로 훌륭했고 대역폭(bandwidth) 비용이 들지 않았기 때문입니다. 그것은 결코 자선이 아니었습니다. 그것은 고객 획득 비용(acquisition cost)이었으며, 효과적이었습니다.

이제 당신은 수표를 받게 됩니다. 하지만 투표권은 받지 못합니다. 카테고리에 대해서도, 요율에 대해서도, 프로그램에 누가 입성할지에 대해서도, 애초에 기본값이 차단이어야 했는지에 대해서도 투표할 수 없습니다.

여기서 실제로 얻어야 할 교훈

저는 누구에게도 자신의 CDN을 뽑아버리라고 말하는 것이 아닙니다. 결제 시스템은 실재하며, 일부 퍼블리셔(publishers)에게는 더 나은 상황이 될 수도 있습니다.

제가 말하고자 하는 것은 조용히 일어난 현상에 주목하라는 것입니다. 공개된 웹(public web)을 읽을 수 있는 권한이 라이선스 부여가 가능한 자산(licensable asset)으로 변했습니다. 그리고 라이선스를 발급하는 주체는 스스로를 임명하고, 자신의 조건을 정의하며, 자신의 시장이 의존하는 희소성(scarcity)을 만들어내고, 그 규칙 아래에서 살아가야 하는 누구에게도 책임을 지지 않는 민간 기업입니다.

돈이 핵심이 아닙니다. 권위(authority)가 핵심입니다.