151개 대형 웹사이트의 robots.txt를 분석했습니다. 문법은 문제가 없었습니다. 진짜 문제는 다른 곳에 있었습니다.

저희는 2026년 10월 29일, 151개의 대형 웹사이트(뉴스, 쇼핑몰, SaaS, 문서, 소셜 네트워크, 교육, SEO)의 robots.txt 파일을 가져와 모든 파일을 linter를 통해 검사했습니다. 총 135개의 파일에서 정보를 읽을 수 있었습니다.

요약 정보

• **44%**가 최소한 여섯 가지 가장 잘 알려진 AI 크롤러(GPTBot, ClaudeBot, CCBot, Google-Extended, PerplexityBot, OAI-SearchBot) 중 하나로부터 / 경로를 차단하고 있었습니다.
• ClaudeBot이 GPTBot보다 더 자주 차단됨: 55개 사이트(41%)가 ClaudeBot을 차단한 반면, 42개 사이트(31%)만이 GPTBot을 차단했습니다.
• 학습 데이터는 허용하지만 검색은 차단: 22개 사이트는 GPTBot은 차단했지만 OAI-SearchBot(ChatGPT 검색)은 열어두었습니다. 20개 사이트는 둘 다 차단했습니다.
• 뉴스 사이트만 차단하고 소프트웨어는 그렇지 않음: 34개의 뉴스 사이트 중 19개가 GPTBot을 차단했으며, 33개의 SaaS 사이트 중 2개만이 차단했고, 개발자 문서나 SEO 사이트는 아무것도 차단하지 않았습니다.
• 세 번째 그룹은 오래된 이름을 사용: 44개의 파일이 여전히 Anthropic의 현재 크롤러 목록에 포함되지 않은 anthropic-ai 또는 Claude-Web이라는 이름을 명시하고 있습니다.
• 문법 자체는 문제 없음: 135개 파일 중 한 줄은 아무런 기능도 하지 않는 상태였습니다. 더 큰 문제는 전달 방식이었습니다: 9개 사이트는 /robots.txt에 대해 HTTP 403 응답을 했고, 3개 사이트는 HTML 페이지를 반환했습니다.

크롤러별 차단 현황

학습 데이터를 수집하는 크롤러는 AI 검색 및 사용자 트리거 가져오기(user-triggered fetches) 뒤에 있는 크롤러보다 두세 배 더 자주 차단되었습니다.

robots.txt에서의 403 응답이 봇을 막지 못한다

cnn.com, nih.gov, npmjs.com을 포함한 9개 사이트가 저희의 식별 가능한 비브라우저 클라이언트에게 /robots.txt에 대해 HTTP 403 응답을 했습니다. RFC 9309에 따르면 4xx 응답은 크롤러가 모든 것을 가져올 수 있음을 의미하며, Google도 이를 동일하게 취급합니다. /robots.txt를 차단하는 방화벽은 규칙을 강제하기보다는 숨기는 역할을 합니다. (실제 크롤러는 다른 응답을 받을 수 있으며, 저희는 알 수 없는 클라이언트가 받는 것만 볼 수 있습니다.)

Gzip 아무도 요청하지 않았습니다

www.forbes.com는 요청에서 압축을 요구하지 않을 때조차도 robots.txt를 gzip으로 압축하여 전송합니다. 실제 크롤러들은 이를 디코딩(decode)합니다. 저희 자체 CLI 도구는 이 연구 이전까지 그러지 못했습니다: 0.3.1 버전 이전에는 파일을 바이너리(binary)로 읽어 규칙을 찾지 못했습니다. 만약 직접 스크립트로 robots.txt를 테스트한다면, Content-Encoding을 디코딩하세요.

자체 파일 확인하기

npx crawlerpeek lint https://example.com   # 구문(syntax), 레거시 토큰(legacy tokens), 확장자(extensions)
npx crawlerpeek scan https://example.com   # 모든 사이트맵 URL을 robots.txt와 비교 검사

또는 아무것도 설치하지 않고 브라우저에서 사용할 수 있습니다: robots.txt 검증기 (validator)와 [사이트맵 robots.txt 확인 (sitemap robots.txt check)]입니다.

섹터 테이블, 모든 AI 크롤러를 차단하는 13개 사이트, Content-Signal 및 RSL 채택 현황, 그리고 방법론이 포함된 전체 보고서는 crawlerpeek.com에서 확인할 수 있습니다. CLI와 MCP 서버는 오픈 소스입니다: [github.com/crawlerpeek/crawlerpeek].