Cloudflare 네트워크의 웹사이트들이 2026년 3분기에 AI 봇 요청의 13.47%를 거부했으며, 이는 1년 전의 5.98%보다 두 배 이상 높은 수치입니다. 이 수치는 TechnologyChecker.io가 Cloudflare Radar 데이터를 분석하여 산출한 것으로, 10월 1일에 발표되었고 Zen Media의 보도 자료를 통해 10월 9일에 마케팅 뉴스에 공개되었습니다. 만약 귀하의 브랜드가 AI 가시성(AI visibility) 작업을 위해 비용을 지불하고 있다면, 이 수치가 이번 달에 볼 수 있는 어떤 순위 보고서보다 더 중요합니다.
3분기 데이터가 실제로 보여주는 것
핵심 통계는 '403 Forbidden' 비율입니다. 2025년 3분기에는 AI 크롤러 요청 중 5.98%가 접근이 차단된 문을 만났습니다. 2026년 3분기에는 이 수치가 13.47%였으며, 9월 한 달만 해도 잠정치로 14.25%를 기록했습니다. 여기에 404(5.86%)와 속도 제한 응답(rate limit responses, 2.22%)을 더하면, AI 봇 요청 중 최소 21.5%가 클라이언트 오류(client error)로 끝납니다.
같은 보고서는 또한 9월 28일 스냅샷에서 4,242개의 robots.txt 파일을 분석하여 각 봇이 차단된 횟수와 허용된 횟수를 계산했습니다. 학습 데이터를 수집하는 OpenAI의 GPTBot은 허용된 횟수 대비 1.60회 차단되었습니다. ChatGPT 검색 답변을 위해 페이지를 가져오는 OAI-SearchBot은 0.91로 기록되었습니다. 웹사이트 소유자들은 선택적으로 대응하고 있습니다. 그들은 학습(training)에는 '아니오'라고 말하지만, 트래픽을 보내줄 수 있는 봇에게는 '예'라고 답합니다.
검색 및 사용자 트리거 크롤링도 증가했습니다. 이는 2026년 2분기 AI 봇 활동의 6.51%에서 3분기에는 11.92%로 상승한 수치입니다. 1년 전에는 3.14%였습니다.
추천(referral) 측면이 분위기를 설명합니다. 보고서에 따르면, Anthropic의 크롤러는 추천된 방문자당 988개의 페이지를 가져왔고, OpenAI는 309개, Perplexity는 1,083개를 가져왔습니다. Google은 4.9로 기록되었습니다. 출판사들은 이 계산을 마쳤습니다.
이것이 마케터와 사업주에게 의미하는 바
많은 기업들이 올해 'AI 가시성(AI visibility)' 감사를 구매하고, 페이지를 ChatGPT와 Perplexity에 맞춰 재작성했지만, 실제로 해당 엔진들이 사이트에 접근할 수 있는지 여부는 확인하지 않았습니다. Zen Media의 발표는 이 점을 명확히 지적합니다. robots.txt 파일은 AI 검색 크롤러를 환영할 수 있지만, 방화벽(firewall), CDN 규칙 또는 봇 보호 설정이 조용히 이를 차단할 수 있습니다. Cloudflare 자체의 봇 기능도 기본적으로 이렇게 작동할 수 있습니다.
따라서 첫 번째 작업은 지루하고 기술적입니다. 서버 또는 CDN 로그를 가져와서 OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot, 그리고 Googlebot을 찾아보세요. 만약 이들이 403 에러를 받고 있다면, 아무리 콘텐츠 최적화를 해도 인용(citation)을 받을 수 없습니다.
두 번째 작업은 정책 결정입니다. 학습 크롤러는 차단하고 검색 및 사용자 에이전트(user agents)는 허용하는 것이 현재의 주류 패턴이며, 대부분의 서비스 비즈니스에 합리적인 기본값입니다. 모델 학습 세트에서 콘텐츠를 제외하면서도 구매자를 보내주는 답변을 받을 자격을 유지할 수 있습니다.
이것은 마케팅과 IT가 별개의 트랙으로 운영될 때 놓치기 쉬운 인프라(plumbing) 문제입니다. KenjiAI (kenjiai.com)와 같은 도구는 리드 흐름이 시스템 간의 실제 통신에 달려 있는 바로 이러한 종류의 변화를 위해 구축되었습니다.
다음 주에 확인하고 할 일
다음 세 가지 일을 이번 주에 수행하세요.
- CDN 또는 WAF(Web Application Firewall) 봇 설정을 확인하세요. Cloudflare에서는 Bot Fight Mode와 모든 'Block AI' 토글을 검토한 후, 검색 크롤러가 200 응답을 받는지 확인하세요.
- 사용자 에이전트별로 분리된 규칙을 사용하여 robots.txt를 재작성하세요. 학습 사용을 원하지 않는다면 GPTBot, ClaudeBot, CCBot은 차단(Disallow)하고, OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot은 명시적으로 허용(Allow)하세요.
- AI 가시성 벤더에게 인용 점수(citation score)를 보여주기 전에 크롤러 접근 로그(crawler access logs)를 먼저 보여달라고 요청하세요.
다음 두 가지 수치를 주목해야 합니다. 첫 번째는 4분기 거부율이 14%를 넘어서 계속 상승할지 여부입니다. 두 번째는 OpenAI와 Anthropic의 크롤(crawl) 대비 추천 비율(referral ratio)입니다. 만약 이 엔진들이 실제 트래픽을 다시 보내오기 시작한다면, 출판사들은 문을 다시 열 것으로 예상됩니다. 그렇지 않다면, 2027년까지 13.47%라는 수치가 계속 상승할 것으로 예상해야 합니다.
출처: TechnologyChecker.io, robots.txt AI Crawler Report Q3 2026, via Zen Media on GlobeNewswire, 2026년 10월 9일.
Media Traffics | KenjiAI 팀에서 게재. kenjiai.com