1,069개 상위 웹사이트의 robots.txt 분석: AI 크롤러는 막고, ChatGPT 검색은 허용하는 곳은?

웹사이트들이 AI 크롤러를 차단하는지에 대해서는 모두가 의견이 있습니다. 저희는 수치를 원했기 때문에 2026년 11월 4일에 인기 도메인 순위인 Tranco 순위를 다운로드하여 상위 2,000개를 가져왔고, 각 사이트의 robots.txt를 추출했으며, 이를 파싱하여 13개 AI 크롤러에 대한 규칙을 담은 사용 가능한 파일을 얻었습니다. 또한 각 사이트가 llms.txt를 제공하는지 여부도 확인했습니다. 사이트별 결과는 다운로드할 수 있는 CSV 파일에 있습니다.

요약본 (The short version)

• 상위 5개 사이트 중 약 1곳이 주요 학습 크롤러를 차단합니다: GPTBot(19.7%), ClaudeBot(18.8%) 및 CCBot(20.7%). 총 6개의 주요 학습 크롤러 중 최소 하나를 차단하는 곳은 25.1%입니다.
• AI 답변에 노출될 수 있는지 여부를 결정하는 크롤러는 훨씬 적게 차단합니다: OAI-SearchBot(6.7%), Claude-SearchBot(8.1%) 및 PerplexityBot(11.6%). 이 세 가지 중 최소 하나를 차단하는 곳은 12.3%입니다.
• GPTBot을 차단한다고 해서 ChatGPT 검색까지 차단되는 것은 아닙니다. GPTBot을 차단한 211개 사이트 중 139곳(65.9%)은 여전히 OAI-SearchBot을 허용하고 있습니다.
• 차단 여부는 순위에 관계없이 평탄합니다. 랭킹 1100위권의 사이트는 랭킹 1,0012,000위권의 사이트와 거의 동일한 비율로 GPTBot을 차단합니다.
• 사이트의 16.6%가 llms.txt를 제공하며, 이러한 사이트는 GPTBot을 차단할 가능성이 다섯 배나 낮습니다(22.8% 대비 4.5%).
• 사이트의 7.2%는 이미 새로운 Content-Signal robots.txt 지시어를 사용하여 AI 사용 선호도를 명시하고 있습니다.

학습 크롤러: 약 5곳 중 1곳이 거부함

각 학습 크롤러를 사이트 전체적으로 차단하는 곳 (n = 1,069)

검색 및 답변 크롤러: 훨씬 적은 수만 차단합니다

AI 검색 크롤러와 사용자 트리거 방식 가져오기를 사이트 전체에서 차단하는 곳 (n = 1,069)

GPTBot을 차단하는 것이 ChatGPT 검색을 차단하는 것은 아닙니다

robots.txt를 작성하는 사람에게 가장 유용한 발견입니다. GPTBot을 차단한 211개 사이트 중 139개(65.9%)는 OAI-SearchBot을 차단하지 않았습니다. 이는 OpenAI가 두 가지 설정을 문서화한 방식과 일치합니다. 설정이 독립적이기 때문에, 사이트는 학습(training) 참여를 거부하면서도 ChatGPT 검색 자격을 유지할 수 있습니다. 나머지 72개 사이트는 둘 다 차단하며, OpenAI에 따르면 OAI-SearchBot 참여를 거부하는 사이트는 여전히 탐색 링크(navigational link)로 표시될 수는 있지만, ChatGPT 검색 답변에는 나타나지 않습니다.

인용되기를 원한다면, 이 분할(split)이 따라야 할 정책입니다. 학습을 거부하고 싶다면 트레이닝 크롤러를 차단하고, 검색 및 사용자 에이전트는 그대로 두는 것입니다. 저희의 허용할 AI 크롤러 가이드에는 예시 파일이 있습니다.

우발적 차단자 (The accidental blockers)

13개 사이트(1.2%)는 와일드카드 때문에 GPTBot만 차단합니다. 이는 User-agent: * 그룹에 Disallow: /가 포함되어 있고, Googlebot과 같은 검색 엔진을 허용하는 별도의 그룹이 함께 있기 때문입니다. 이는 엄격한 정책을 작성하는 합법적인 방법이지만, 저자가 이름을 지정하지 않은 모든 AI 크롤러(인용을 유발하는 것도 포함)를 조용히 차단합니다. 만약 귀하의 robots.txt가 허용 목록(allowlist)이라면, 의도적으로 OAI-SearchBot, PerplexityBot, 그리고 Claude-SearchBot을 명시했는지 확인하세요.

규모가 큰 사이트일수록 더 많이 차단하지 않는다 (Bigger sites do not block more)

Tranco 순위 구간별 차단 현황

새로운 지침: Content-Signal

77개 사이트(7.2%)가 이미 robots.txt에 Content-Signal 라인을 사용하고 있습니다. 이는 Cloudflare의 Content Signals Policy에서 비롯되었으며, 사이트가 검색(search), ai-input (답변 및 근거 제시), 그리고 ai-train을 허용하는지 여부를 사용 목적별로 명시할 수 있게 합니다. Cloudflare는 이 신호(signals)를 기술적 대응책이 아닌 선호도 표현으로 설명하며, 일부 기업은 이를 무시할 수 있다고 언급합니다. 저희는 Content-Signal 라인을 크롤러에게 접근하지 말라고 지시하는 것이 아니기 때문에 차단(block)으로 계산하지 않았습니다.

llms.txt: 발견되기를 원하는 사이트들이 채택함

1,069개 사이트 중 177개(16.6%)가 llms.txt를 제공합니다. 채택률은 101-500 범위(23.9%)에서 가장 높았고, 1,001-2,000 범위(12.3%)에서 가장 낮았습니다. llms.txt를 가진 사이트가 GPTBot을 나머지 사이트들보다 훨씬 적게 차단(4.5% 대 22.8%)하는 것은 이 파일이 주로 개발자 도구(developer-tools), SaaS 및 문서화 사이트 등 AI 가시성을 원하는 곳에 채택되고 있다는 점과 일치합니다. 이것은 선택의 문제이지, llms.txt가 작동한다는 증거는 아닙니다. 실제로, 137,210개 도메인에 대한 Ahrefs 연구에서는 2026년 5월에 llms.txt 파일의 97%가 요청을 받지 못한 것으로 나타났습니다. 이 내용은 llms.txt 설명에서 다루었습니다.

다른 2026년 연구들과의 비교

연구별 크롤러 차단 사이트 비율. 샘플과 정의가 다르므로 소수점 대신 패턴을 비교하십시오.

실행 방안 (What to do with this)

1. 학습과 검색을 분리하여 결정하세요. GPTBot, ClaudeBot 또는 Google-Extended를 차단하는 것은 '학습(training)'에 대한 결정입니다. OAI-SearchBot, PerplexityBot 또는 Claude-SearchBot을 차단하는 것은 답변 제공 대상에서 제외됨을 의미합니다.
2. robots.txt 파일이 User-agent: * 뒤의 허용 목록(allowlist)인 경우, 검색 크롤러를 명시적으로 추가하세요.
3. 단순히 robots.txt만 확인할 것이 아니라 CDN도 확인하세요. 2,000개 사이트 중 137곳은 일반 브라우저 사용자 에이전트를 전송했음에도 불구하고 우리의 robots.txt 요청에 대해 403 Forbidden 응답을 했습니다. 방화벽이나 봇 보호 규칙이 크롤러가 파일을 읽기 전에 차단할 수 있습니다.
4. 실제 파서(parser)로 파일 테스트를 진행하세요. 잘못된 그룹에 속하는 규칙은 오류 없이 잘못된 정책을 적용합니다. 홈페이지에서 제공되는 무료 감사 기능을 통해 현재 robots.txt가 어떤 AI 크롤러들을 차단하고 있는지 확인할 수 있습니다.

방법론 및 제한 사항 (Method and limitations)

• 샘플: 2026년 11월 4일에 다운로드된 Tranco top-1M 리스트의 상위 2,000개 도메인입니다. 많은 상위 도메인이 웹사이트가 아니기 때문에 (CDN, DNS 및 광고 네트워크 호스트 이름), 사용 가능한 robots.txt를 생성한 곳은 절반 정도에 불과했습니다.
• 수집: 각 도메인에 대해 표준 브라우저 사용자 에이전트를 사용하여 https://domain/robots.txt와 https://www.domain/robots.txt를 요청했습니다. 결과: 1,243곳에서 HTTP 200을 반환했으며, 이 중 1,104곳이 실제 robots.txt 파일이었고 (나머지는 HTML 페이지였습니다), 495곳은 아무 응답도 없었으며 (일부는 시간 초과였지만 CDN, DNS 및 광고 호스트 이름의 전형적인 경우입니다), 137곳은 403을 반환했고 94곳은 404를 반환했습니다.
• 제외: robots.txt가 Googlebot을 차단하는 35개 호스트는 출판사가 AI 관련 선택을 한 것이 아니라 API, 광고 서버 또는 CDN이었으므로 제외했습니다. 따라서 남은 사이트는 1,069곳입니다.
• 파싱(Parsing): 우리는 RFC 9309를 따릅니다. 크롤러는 그룹이 존재하는 경우 자체 그룹을 사용하고 그렇지 않으면 * 그룹을 사용하며, 루트에 대한 허용 없이 전체 사이트를 차단하는 Disallow: /인 경우에만 차단으로 간주합니다. Disallow: /private/와 같은 부분적 차단은 계산되지 않습니다. Python의 표준 라이브러리 파서는 약 2%의 사이트에서 우리와 의견이 달랐는데, 이는 주로 RFC 9309가 그렇지 않은 빈 줄에서 그룹을 끝내기 때문입니다.
• llms.txt: /llms.txt가 HTTP 200을 반환하고, HTML이 아니며, 마크다운 헤딩으로 시작할 때 계산되었습니다. 96개 사이트는 200 상태의 HTML 페이지를 반환하여 계산되지 않았습니다.
• robots.txt는 의도를 보여줄 뿐, 강제력을 의미하지 않습니다. 크롤러는 이를 무시할 수 있으며, 방화벽 규칙은 여기에 보이지 않습니다.
• 편향성(Bias): 인기 있는 사이트는 대기업에 치우치는 경향이 있으며, 우리의 스크립트 요청을 차단한 사이트는 평균보다 크롤러를 차단할 가능성이 더 높으므로, 이 수치들은 가장 큰 사이트들 간의 차단을 과소평가했을 수 있습니다. 작은 사이트에 대해서는 거의 알려주지 않습니다.

자주 묻는 질문 (Frequently asked questions)

웹사이트 중 몇 퍼센트가 GPTBot을 차단하나요?

분석할 수 있었던 1,069개 인기 사이트 중 19.7%가 robots.txt에서 GPTBot을 사이트 전체에 걸쳐 차단하고 있습니다. 이는 웹 전체가 아닌 인기 사이트의 샘플이며, 소규모 사이트의 경우 비율이 더 낮을 가능성이 높습니다.

GPTBot을 차단하는 것이 제 사이트를 ChatGPT에서 제거하나요?
아닙니다. OpenAI 문서에 따르면, GPTBot은 콘텐츠가 학습(training)에 사용되는 것을 통제하며, OAI-SearchBot은 ChatGPT 검색에 해당 사이트가 나타나는지 여부를 통제합니다. 이 설정들은 독립적이며, 저희 데이터에서 GPTBot을 차단하는 사이트 중 65.9%는 여전히 OAI-SearchBot을 허용하고 있습니다.

AI 크롤러를 차단해야 하나요?
콘텐츠가 학습에 사용되는 것을 원하지 않는다면 트레이닝 크롤러(training crawlers)를 차단하세요. AI 답변이 해당 사이트를 인용하기를 원한다면, 검색 및 사용자 트리거형 크롤러(search and user-triggered crawlers)는 차단하지 마십시오. 허용해야 할 AI 크롤러 확인을 참조하십시오.

데이터를 받을 수 있나요?
네. 사이트별 결과는 이 CSV 파일에 있으며, 각 사이트당 한 행과 크롤러마다 0 또는 1로 표시되어 있습니다.

출처 (Sources)

• [트랑코(Tranco)]: 연구 중심의 상위 웹사이트 순위링킹 자료
• [OpenAI]: 크롤러 및 사용자 에이전트 문서화
• [Anthropic]: Anthropic이 웹에서 데이터를 크롤링하는지 여부와 사이트 소유자가 크롤러를 차단할 수 있는 방법
• [Perplexity]: 크롤러 및 사용자 에이전트
• [Cloudflare]: 콘텐츠 시그널 정책(Content Signals Policy)
• [Ahrefs]: 13만 7천 개의 사이트를 분석한 결과, 97%의 llms.txt 파일은 읽히지 않음
• [RFC 9309]: 로봇 제외 프로토콜(Robots Exclusion Protocol)
• [AICrawlerCheck]: AI 크롤러 robots.txt 연구 2026
• [Suff Digital]: AI 크롤러 차단율

원래 Cited Lens에서 출판되었습니다. 무료 감사(free audit)를 통해 자신의 robots.txt가 어떤 AI 크롤러를 차단하는지 확인할 수 있습니다.