저희는 가장 많이 방문한 285개 웹사이트의 robots.txt 파일을 확인하여 이들이 AI 크롤러를 어떻게 처리하는지 살펴보았습니다. 그중 261개의 사이트에서 읽을 수 있는 파일이 반환되었습니다. 본 게시물에서는 저희가 발견한 내용을 요약했습니다. 전체 보고서와 원본 데이터는 마지막에 링크되어 있습니다.
주요 통계 수치
- 261개 사이트 중 59개(22.6%)가 OpenAI가 학습 데이터를 수집하는 데 사용하는 크롤러인 GPTBot을 차단합니다.
- 사이트의 35%가 최소한 하나의 학습 크롤러를 차단합니다.
- 사이트의 21%가 모델 학습 목적이 아닌 실시간 답변을 위해 페이지를 가져오는 봇, 즉 검색 크롤러(search crawler) 중 적어도 하나를 차단합니다.
- CCBot (Common Crawl)과 Bytespider (ByteDance)가 각각 28.7%로 가장 많이 차단되는 사용자 에이전트입니다.
- ChatGPT 검색 결과의 기반이 되는 크롤러인 OAI-SearchBot은 11.5%로 가장 적게 차단됩니다.
- 전체 조사 대상 중 Googlebot을 차단하는 곳은 Reddit 단 한 곳뿐입니다.
뉴스 사이트가 차단의 대부분을 주도합니다
샘플에는 48개의 뉴스 사이트가 포함되어 있으며, 이 중 27개가 GPTBot을 차단하고 있습니다. 이는 연구에서 발견된 모든 GPTBot 차단 사례의 거의 절반이 단일 카테고리에서 나온 수치입니다. 출판사들은 학습 크롤러를 외부로 유지할 명확한 이유가 있으며, 그 수치는 이들이 소매업체(retailers), 소프트웨어 회사 또는 참고 사이트보다 훨씬 더 적극적으로 행동하고 있음을 보여줍니다.
학습 크롤러 대 검색 크롤러
35%와 21%의 차이는 중요합니다. 학습 봇을 차단하는 많은 사이트들이 여전히 검색 봇은 허용하는 경향이 있습니다. 그 이유는 ChatGPT, Perplexity 또는 Google AI Overviews에서 실시간 답변을 위해 가져가지는 것이 방문자를 유도할 수 있는 반면, 학습 목적의 접근은 그렇지 못하기 때문입니다. 가장 적게 차단되는 에이전트인 OAI-SearchBot이 이러한 패턴에 부합합니다. Bytespider는 이와 대조적입니다. 이는 훨씬 덜 알려져 있음에도 불구하고 CCBot만큼 자주 차단되는데, 아마도 규칙을 무시하는 평판 때문일 것입니다.
데이터 확인하기
모든 사이트, 모든 크롤러, 그리고 모든 규칙이 포함된 CSV 파일은 GitHub에서 공개되어 있습니다: ai-crawler-access-study
방법론과 카테고리별 분석을 포함한 전체 보고서는 여기에서 확인하실 수 있습니다: AI crawler access report
자신의 웹사이트의 robots.txt를 이 크롤러들과 비교해 보고 싶다면, AI Ranked에서 제공하는 무료 인브라우저 robots.txt 검사기를 이용할 수 있습니다.