2026년 7월 1일, Cloudflare는 두 번째 '콘텐츠 독립의 날 (Content Independence Day)' 패키지를 출시했습니다. 여기에는 모든 고객을 위해 검색, 에이전트(agent), 학습용 봇(training bots)을 분리하는 크롤러 제어 기능, 크롤러에게 어떤 페이지가 실제로 변경되었는지 알려주는 연구 프로그램, '크롤(Crawl)당 과금 (Pay Per Crawl)'을 '사용(Use)당 과금 (Pay Per Use)'으로 전환하는 실험, 그리고 x402를 초과하는 모든 리소스에 대해 비용을 청구하는 게이트웨이 대기 명단이 포함되어 있습니다. 이 기능들을 종합해 보면, 기존에 사이트의 코드 내에 존재하던 결정 사항들을 CDN 대시보드로 이동시킨다는 것을 알 수 있습니다. 이러한 위치 이동이 에이전트 준비성 (agent readiness) 측면에서 중요한 핵심입니다.

에지(Edge)는 페이지가 수행하는 모든 올바른 작업을 무효화할 수 있습니다

사이트가 깨끗한 마크다운 (markdown), llms.txt, 구조화된 데이터 (structured data) 및 서명된 매니페스트 (signed manifests)를 제공하더라도, 네트워크 규칙이 요청이 페이지에 도달하기 전에 크롤러를 차단한다면 그 중 어느 것도 의미가 없습니다. Cloudflare에 따르면 웹의 20% 이상이 자사의 네트워크 뒤에 위치하며, 새로운 제어 기능은 크롤러별 차단 토글과 시간이 지남에 따라 변경되는 기본값과 함께 출시됩니다. 이 사이트 자체의 크롤러 목록을 확인해 본 결과, Internet Archive와 출판사에게 비용을 지불하는 AI 검색 엔진을 포함하여 7개의 차단된 항목이 있는 것으로 나타났습니다. 어떤 경로를 통해 차단되었든, 마크업 (markup) 상에는 아무런 표시가 나타나지 않습니다. 이를 확인하려면 대시보드를 확인하거나, 콘텐츠가 답변에 더 이상 나타나지 않을 때 알 수 있습니다.

따라서 에이전트 준비성 (agent-readiness) 검토를 수행하려면 콘텐츠와 함께 에지 (edge) 설정을 읽어야 합니다. robots.txt, WAF 및 AI 크롤러 목록은 콘텐츠 전략이 말하는 바와 동일한 내용을 담고 있어야 하며, 플랫폼의 기본값이 배포 (deploy) 없이도 변경될 수 있기 때문에 이를 지속적으로 유지해야 합니다.

인용 (Citations)이 클릭 (clicks)을 대체하고 있으며, 이제 두 가지 모두 측정 가능합니다

Cloudflare가 이 패키지를 내세운 이유는 2025년 Pew Research Center의 조사 결과에 근거합니다. Google이 AI 요약 (AI summary)을 보여줄 때, 사용자가 전통적인 검색 결과(traditional result)를 클릭하는 비율은 8%인 반면, 요약 내의 링크를 클릭하는 비율은 약 1%에 불과합니다. 이제 가치가 이동하는 지점은 더 이상 방문 (visit)이 아닙니다. 이에 대한 Cloudflare의 대응은 인용 (citation) 자체를 유료화하는 것입니다. Ceramic.ai는 콘텐츠가 답변을 제공한 쿼리 (query)당 퍼블리셔에게 비용을 지불하며, You.com은 에이전트 (agent)가 개별 프리미엄 페이지를 구매할 수 있도록 허용합니다. 또한 참여 사이트들은 어떤 AI 검색 쿼리가 페이지와 스니펫 (snippet) 단위까지 자신들의 콘텐츠를 노출시켰는지에 대한 보고서를 받게 됩니다.

이러한 읽기 (reading) 데이터는 이미 일상적인 수준입니다. 지난 7일 동안 이 사이트는 식별된 AI 및 검색 크롤러 (crawlers)로부터 604개의 요청에 응답했으며, AI 답변과 검색을 통해 88건의 인간 방문이 유입되었습니다. 대부분은 Google을 통한 것이었으며, 나머지는 Meta, DuckDuckGo, Bing이 주도했습니다. 이러한 읽기 데이터에 비용을 부과하기 시작할지 여부가 새로운 프로그램들이 테스트할 핵심 과제입니다.

결제 수단 (Payment rails)이 설정 항목이 되고 있습니다

Monetization Gateway 대기 명단도 같은 방향을 가리키고 있습니다. Cloudflare 뒤에 있는 모든 페이지, 데이터셋 (dataset), API 또는 MCP 도구 (tool)에 대해 비용을 청구하고, 자체 결제 스택 (payment stack) 없이 x402 프로토콜을 통해 정산하는 방식입니다. 에이전트에게 비용을 청구하는 것은 이제 엔지니어링 프로젝트에서 하나의 설정 (setting) 항목으로 변화하고 있습니다. 이에 따라 정직함의 기준도 함께 이동합니다. 어떤 에이전트도 완료할 수 없는 조건을 제시하는 x402 인터페이스 (surface)는 이를 시도하는 첫 번째 에이전트에 의해 즉시 발각됩니다. 이것이 바로 이 사이트의 x402 엔드포인트 (endpoint)가 가짜 결제창 대신 실제 조건과 함께 HTTP 402 응답을 보내는 이유입니다.

이번 주 확인해야 할 사항

• CDN의 AI 크롤러(crawler) 목록을 열고 의도한 바와 비교해 보세요. 선택하지 않은 차단 항목이 있다면 그것은 설정 드리프트 (configuration drift)이며, 이는 페이지에서 선언한 모든 설정을 무시하고 우선 적용됩니다.
• 에지 (edge) 변경 사항이 발생한 후에는 반드시 다시 스캔하세요. 공개적인 에이전트 준비도 (agent-readiness) 스캐너는 외부에서 사이트를 읽기 때문에, 네트워크 수준의 차단은 구매자가 격차를 발견하기 전에 점수 하락으로 나타납니다.
• 만약 귀하의 콘텐츠가 인용 (citation)을 얻고 있다면, 사용량 기반 결제 (Pay Per Use) 프로그램을 살펴보세요. 쿼리가 귀하의 페이지를 AI 답변에 포함시키는 과정에서 생성되는 리포팅 데이터만으로도, 오늘날 다른 곳에서는 얻을 수 없는 가시성 (visibility) 데이터를 확보할 수 있습니다.

콘텐츠와 함께 에지 설정을 읽어내는 에이전트 준비도 (agent-readiness) 감사를 원하시면, info@turva.dev로 문의해 주세요.

원문 게시 위치: https://turva.dev/blog/agent-access-is-now-a-setting