핵심 요약 (Key takeaways)

• 주요 봇 보고서들은 자동화된 트래픽이 얼마나 되는지(약 절반)를 측정합니다. 우리는 그 반대 측면, 즉 웹이 스스로를 어떻게 방어하는지를 측정했습니다. 상위 100만 개에서 1,000만 개 사이의 사이트를 조사한 결과, 53.5%가 관리형 안티봇(Anti-bot) 방벽을 운영하고 있으며, 단 9.33%만이 AI 크롤러(AI crawler)를 차단하고 있고, 14.1%는 이미 폐쇄되었습니다.
• 안티봇은 이제 기본값이 되었으며, 그 대부분은 Cloudflare가 차지하고 있습니다. 접근 가능한 상위 100만 개 사이트의 53.5%가 관리형 방벽 뒤에 위치하며, 보호되는 모든 사이트 중 84%가 Cloudflare를 사용합니다. 방벽은 순위가 올라갈수록가 아니라, 순위가 내려갈수록 더 촘촘해집니다.
• AI 크롤러를 차단하는 곳은 거의 없으며, 차단하는 곳들도 트래픽이 아닌 학습(Training)을 차단합니다. GPTBot (7.4%)과 Common Crawl의 CCBot (7.23%)이 앞서고 있으며, 독자를 다시 돌려보내는 에이전트(Agents)들은 거의 영향을 받지 않습니다. 뉴스 사이트들이 가장 강력하게 차단합니다.
• '죽은 웹(Dead web)'은 여러분이 들었던 것의 약 절반 수준입니다. 상위 1,000만 개 사이트 중 실제로 죽은 곳은 14.1%이며, 일반적인 수치인 27.6%가 아닙니다. 그 이유는 대부분의 '죽은' 사이트들이 살아있지만 단순히 봇을 차단하고 있거나, 조용히 DNS를 잃어버렸기 때문입니다.

매년 새로운 보고서가 봇이 이제 웹 트래픽의 대부분을 차지한다고 말합니다. 그 수치는 사실이지만, 이는 관계의 한쪽 측면만을 설명할 뿐입니다. 우리는 다른 측면을 알고 싶었습니다. 즉, 트래픽 중 얼마나 많은 부분이 자동화되었는가가 아니라, 웹 자체가 얼마나 자동화된 클라이언트(Automated clients)를 차단하도록 구축되어 있는가 하는 점입니다.

따라서 저희는 2026년 6월에 상위 100만 개 사이트를 대상으로 세 가지 대규모 스캔을 실시했습니다. 바로 Anti-Bot Adoption Index, AI-Crawler Blocking Index, 그리고 Dead-Web Index입니다. 이 지표들을 종합해 보면, 기계가 읽기 점점 더 어려워지고 있는 웹의 상태를 측정 가능한 수치로 보여줍니다. 다음은 세 가지 주요 결과입니다. 차트, 방법론 및 공개 데이터는 전체 보고서에서 확인할 수 있습니다.

1. 웹이 장벽을 쌓고 있다

Tranco 상위 100만 개 사이트 중 998,497개 사이트를 조사한 결과, 818,614개에 접속이 가능했으며, 그중 53.5%가 관리형 안티봇(Managed anti-bot) 또는 WAF(Web Application Firewall) 장벽을 운영하고 있었습니다. Cloudflare 하나만 보더라도 접속 가능한 웹의 약 45%를 차지하며, **보호되고 있는 모든 사이트의 84%**에서 사용되고 있습니다.

직관에 어긋나는 부분은 그 기울기(gradient)입니다. 가장 인기 있는 사이트일수록 범용적인 장벽(commodity wall)을 사용할 가능성이 가장 낮았습니다. 상위 1,000개 사이트는 44%인 반면, 롱테일(long tail) 영역은 54%에 달합니다. 거대 기업들은 보호되지 않는 것이 아니라, 대신 맞춤형 엔터프라이즈 봇 관리 솔루션(Enterprise bot-management, 예: DataDome, Akamai, PerimeterX)을 사용하고 있습니다. 이는 상위권의 약 7.6%에서 하위권의 0.6%로 점차 감소합니다. 반대로 범용적인 Cloudflare 채택률은 그 반대 방향으로 상승합니다.

더 나아가 그 격차는 훨씬 더 넓습니다. 영어권 웹은 장벽이 가장 높고(.us 89%), 동아시아 웹은 가장 개방적입니다(.kr 11%). 이는 8배의 차이를 보입니다.

2. AI 크롤러는 선택적으로 차단된다

출판사들이 AI를 차단하고 있다는 헤드라인에도 불구하고, 상위 100만 개 사이트 중 robots.txt에서 단 하나의 주요 AI 크롤러라도 완전히 차단하는 비율은 **9.33%**에 불과합니다 (robots.txt를 게시하는 사이트 중에서는 14.8%). 그리고 이러한 차단은 의도적입니다. 사이트들은 독자를 다시 보내주는 (referral) 에이전트보다 모델을 학습시키는 (train) 크롤러를 훨씬 더 많이 차단합니다.

OpenAI의 GPTBot이 7.4%로 가장 높지만, 대부분의 모델이 간접적으로 학습하는 오픈 코퍼스(open corpus)인 Common Crawl의 CCBot은 7.23%로 거의 대등한 수준입니다. 추천 트래픽(referral traffic)을 유도하는 AI 검색 및 어시스턴트 에이전트들은 거의 차단되지 않습니다.

3. 데드 웹(Dead Web)은 과장되었다

웹의 4분의 1이 사라졌다는 통계를 아마 보셨을 것입니다. 우리는 가장 인기 있는 1,000만 개의 도메인을 조사하였고(999만 개 도달, 99.95% 커버리지), 그 결과 실제로 죽은 사이트는 14.1%로 나타났습니다 — 이는 통상적인 수치의 약 절반 수준입니다.

이 차이는 방법론에서 기인합니다. 단순한 크롤러는 403, 429 또는 제공된 404 오류를 '죽음'으로 간주하지만, 해당 사이트들은 살아있으며 단지 봇을 차단하고 있거나(응답은 하지만 차단하는 비율 8.9%) 설정이 잘못된 것뿐입니다. 진정한 의미의 죽음은 DNS입니다. 죽은 도메인의 76%는 더 이상 도메인 이름 해석(resolve)이 되지 않습니다. 또한 이는 꼬리 부분(tail)에서 발생하는 현상입니다. 죽은 도메인의 99.8%가 순위 100,000위 미만에 위치하므로, 트래픽 가중치를 적용하면 데드 웹은 3%에 가깝습니다.

시사점

오픈 웹(open web)은 죽어가고 있지 않습니다. 방어 체계를 전문화하고, AI를 선택적으로 통제하며, 꼬리 부분에서 쇠퇴하고 있을 뿐입니다. 공개 웹 데이터를 기반으로 무언가를 구축하는 모든 이들에게, 세 가지 스캔 결과가 공통적으로 가리키는 실질적인 교훈은 다음과 같습니다. 이제 신뢰할 수 있는 수집은 단순히 페이지를 가져오는(fetching) 것이 아니라, 장벽을 처리하는 (handling the walls) 것에 달려 있습니다. 웹의 절반 이상이 이제 장벽 뒤에 있기 때문입니다.

전체 보고서에서는 차트와 방법론을 모두 제공하며, 세 가지 데이터셋(Anti-Bot, AI-Crawler, Dead-Web)은 [링크]를 통해 CC BY 4.0 하에 공개되어 있습니다.

자주 묻는 질문 (FAQ)

2026년 웹의 몇 퍼센트가 안티봇 보호 기능을 사용합니까?

Tranco 상위 1백만개 사이트에 대한 독립적인 2026년 6월 스캔 결과(998,497개 스캔, 818,614개 도달 가능)를 분석했을 때, 도달 가능한 사이트의 53.5%가 관리되는 안티봇 또는 WAF 벽을 사용하고 있으며, Cloudflare만 해도 보호된 모든 사이트의 약 84%를 차지합니다. 순위가 내려갈수록 보호 비율이 높아지는데, 이는 상위 1,000개 사이트의 경우 44%인 반면, 10만~1백만대 구간에서는 54%에 달하기 때문입니다. 가장 큰 규모의 사이트들은 일반적인 벽(commodity wall) 대신 엔터프라이즈급 봇 관리 솔루션을 사용합니다.

웹사이트들이 가장 많이 차단하는 AI 크롤러는 무엇입니까?

GPTBot (OpenAI)이 상위 1백만개 사이트 중 7.4%로 단일하게 가장 많이 차단되었으며, Common Crawl의 CCBot이 7.23%로 근소한 차이로 뒤를 이었습니다. 전반적으로는 겨우 9.33%의 사이트만이 주요 AI 크롤러 중 적어도 하나를 차단합니다. 참고로, 리퍼럴 트래픽을 보내는 AI 검색 및 어시스턴트 에이전트(PerplexityBot, ChatGPT-User, OAI-SearchBot)보다 학습용 크롤러가 약 5배 더 많이 차단됩니다.

웹의 실제 '죽은' 비율은 얼마나 되나요?

상위 1천만개 도메인 중 14.1%는 진정으로 죽은(dead) 상태이며, 이는 흔히 인용되는 단순 크롤링 기반 수치인 27.6%보다 훨씬 낮은 수치입니다. 그 차이는 방법론에 있습니다. 403 또는 429 응답 코드나 서빙된 404는 '살아있지만 차단하는(alive-but-blocking)' 경우(8.9%의 답변을 하지만 봇은 차단)이거나 구성 오류인 것이지, 죽은 상태가 아닙니다. 진정한 사망 원인은 압도적으로 DNS 실패이며, 죽은 도메인의 76%는 아예 더 이상 이름 확인(resolve)조차 되지 않습니다.

이 보고서는 Imperva, HUMAN 또는 Cloudflare의 봇 보고서와 어떻게 다릅니까?

해당 보고서들은 봇 트래픽의 양, 즉 전체 트래픽 중 봇으로부터 발생하는 요청의 비율(약 53%)을 측정합니다. 반면, 이 보고서는 그 반대 측면을 측정합니다. 즉, 상위 100만 개에서 1,000만 개의 도메인에 걸쳐 사이트별로 웹의 방어 태세(defensive posture)와 도달 가능성(reachability)을 측정합니다. 이 보고서는 얼마나 많은 트래픽이 자동화되었는지보다는, 웹의 어느 정도가 장벽(walled)으로 막혀 있거나, AI 게이트(AI-gated)로 제한되어 있거나, 혹은 사라졌는지를 다룹니다.

원문은 crawlora.net에 게시되었습니다. Crawlora는 구조화된 웹 데이터, 검색 및 안티봇(anti-bot) API입니다. 수십 개의 플랫폼을 정규화된 JSON 형태로 제공하며, 호스팅된 MCP 서버와 무료 티어(카드 등록 불필요)를 포함하고 있습니다.