2026년에 제가 가장 흔히 목격하는 robots.txt 실수 중 하나는 "AI 봇"을 하나의 그룹으로 취급하여 단 하나의 규칙으로 모두 차단하는 것입니다. 그러한 결정은 실제로 신경 써야 할 스크래퍼(Scrapers)를 막는 데는 아무런 도움이 되지 않으면서, AI 답변 엔진(AI answer engines)에서의 발견 가능성(Discoverability)을 조용히 앗아갑니다.

AI 크롤러 robots.txt 최적화는 독점적인 콘텐츠를 보호하는 동시에, 수익에 중요한 페이지를 검색 엔진과 AI 답변 시스템이 접근할 수 있도록 유지하는 선택적 크롤러 권한(Selective crawler permissions)을 필요로 합니다. 지시어(Directive)를 하나라도 건드리기 전에, AI 학습 크롤러(AI training crawlers), AI 답변/검색 크롤러(AI answer/search crawlers), 사용자 트리거 페처(User-triggered fetchers), 전통적인 검색 크롤러(Traditional search crawlers), 상업적 SEO 크롤러(Commercial SEO crawlers), 그리고 알 수 없는 스크래퍼(Unknown scrapers)를 분리하십시오. 이들은 서로 다른 목적을 수행하며, 잘못된 것을 차단하는 것이 바로 피해가 발생하는 지점입니다.

robots.txt는 보안 도구가 아니라 크롤링 권한 파일입니다

/robots.txt는 준수하는(Compliant) 크롤러에게 어떤 URL 경로를 요청할 수 있는지 알려주는 공개된 크롤러 권한 파일입니다. 이는 비공개 콘텐츠를 보호하거나, 인덱싱된 페이지를 제거하거나, 준수하지 않는 스크래퍼가 무엇인가를 따르도록 강제하지 않습니다.

이 파일은 호스트의 루트(Root)에 위치합니다. https://www.example.com/의 경우, 해당 경로는 https://www.example.com/robots.txt가 됩니다. 규칙은 호스트 및 프로토콜별로 적용되므로, 서브도메인(Subdomains), ccTLD, 스테이징 호스트(Staging hosts)는 각각 자체적인 검증이 필요합니다. 공식 규격은 RFC 9309입니다.

네 가지 핵심 지시어(Directives):

사람들이 끊임없이 혼동하는 한 가지 차이점은 다음과 같습니다: 크롤링 제어(Crawling control)는 인덱싱 제어(Indexing control)가 아닙니다. 차단된 URL이라도 다른 페이지가 해당 URL을 링크하고 있다면 여전히 검색 결과에 나타날 수 있습니다. 인덱싱을 방지하려면 meta robots 태그나 HTTP 헤더에 noindex를 사용해야 하며, 크롤러가 이를 확인하기 위해서는 페이지를 가져오는(Fetch) 것이 허용되어야 합니다. robots.txt에서 URL을 차단하면 noindex는 결코 읽히지 않습니다.

그리고 로그인 영역, 스테이징(staging), 가격 파일, 파트너 문서와 같이 진정으로 민감한 모든 항목에 대해 robots.txt는 완전히 잘못된 계층(layer)입니다. 이는 공개적입니다. /private-pricing/을 목록에 올리는 것은 사람들에게 어디를 찾아봐야 할지 알려주는 것과 같습니다. 인증(auth), IP 제한, 서명된 URL(signed URLs), 또는 WAF 규칙을 사용하세요. MDN은 이 점에 대해 단호하게 말합니다: robots.txt는 보안이 아닙니다.

규칙을 작성하기 전에 크롤러를 분류하세요

단일 벤더(vendor)라 하더라도 학습(training), 검색 검색(search retrieval), 사용자 트리거 액세스(user-triggered access), 그리고 인프라를 위해 별도의 에이전트(agent)를 실행하는 경우가 많습니다. 잘못된 에이전트를 차단하면 콘텐츠 재사용 문제를 해결하지 못한 채 발견 가능성(discoverability)만 낮추게 됩니다.

다음은 현재의 User-agent 현황입니다. 하지만 토큰과 역할은 변경될 수 있으므로, 배포하기 전에 반드시 공식 문서와 대조하여 확인하세요:

Anthropic에 대한 짧은 참고 사항: ClaudeBot, Claude-User, Claude-SearchBot과 같은 크롤러 이름이 보고서 및 투명성 자료에 나타나지만, 운영 규칙을 배포하기 전에 반드시 현재 문서를 직접 확인하세요. 오래된 블로그 포스트에서 확인되지 않은 User-agent 스니펫을 그대로 붙여넣지 마세요. 그것이 바로 오래된 규칙이 전파되는 방식입니다.

Google-Extended는 특별한 주의가 필요합니다. 이것은 robots.txt 제품 _토큰(token)_이지, HTTP 요청 User-agent가 아닙니다. Google의 생성형 AI 제품 사용만 제한하려는 의도였다면, Googlebot을 차단하지 마십시오.

허용, 차단 및 부분적 액세스

선택적 액세스는 공개 상업 사이트를 위한 합리적인 기본 설정입니다. 검색 및 답변/검색 크롤러는 공개 페이지에 유지하고, 실제 라이선스, 법적 문제 또는 콘텐츠 재사용 이유가 있는 경우에만 특정 학습 크롤러를 차단하세요.

최대 발견 가능성 (공개 브랜드 사이트):

User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml

학습 크롤러는 차단하고, 그 외 모든 것은 허용:

User-agent: GPTBot
Disallow: /

...

AI 답변 접근은 허용하되, 광범위한 학습 접근은 차단:

User-agent: OAI-SearchBot
Allow: /

...

이커머스(Ecommerce) 파라미터/크롤링 낭비 제어:

Disallow: /cart/
Disallow: /checkout/
Disallow: /*?sort=
...

다국어 사이트 — 언어별 폴더와 사이트맵(Sitemap)을 개방 상태로 유지:

Allow: /en/
Allow: /de/
Allow: /fr/
...

이커머스 패턴에 대한 한 가지 경고: 모든 쿼리 스트링(Query string)을 차단하면 실제 검색 수요와 일치하며 전환을 일으키는 필터링된 랜딩 페이지(Landing pages)를 무력화할 수 있습니다. 파라미터를 일괄 차단하기 전에 검색 데이터를 확인하세요.

그리고 운영 환경(Production)의 robots.txt를 스테이징(Staging) 제어용으로 절대 사용하지 마세요. 200 상태 코드를 반환하는 공개된 스테이징 URL은 Disallow: / 설정과 관계없이 링크, 스크린샷, 캐시된 자산을 통해 유출됩니다. 반드시 비밀번호로 보호하세요.

실제로 피해를 입히는 8가지 실수

1. 잘못된 User-agent 그룹에 Disallow: / 설정 — 가장 치명적인 실수입니다. Googlebot/Bingbot/Applebot의 사이트 전체 접근을 차단합니다. 그룹을 깔끔하게 유지하고, 중복된 User-agent: * 블록을 피하세요.
2. 모든 AI 크롤러를 하나로 취급하는 것 — GPTBot을 차단하는 것이 OAI-SearchBot을 차단하는 것은 아니며, Google-Extended를 차단하는 것이 Googlebot을 차단하는 것도 아닙니다.
3. 언어 폴더 차단 — /de/, /zh/, /ar/ 등의 국제적 발견 가능성(Discoverability)을 저해합니다.
4. 렌더링에 필요한 CSS/JS 차단 — 차단된 리소스는 불완전한 페이지 이해를 초래합니다. 답변/검색 크롤러는 Googlebot과 다르게 렌더링할 수 있습니다.
5. 민감한 콘텐츠를 숨기기 위해 robots.txt 사용 — 이는 공개된 파일입니다. 오히려 해당 폴더를 광고하는 꼴이 됩니다.
6. CDN이 원본 파일을 덮어쓰도록 방치하는 것 — Cloudflare의 관리형 robots.txt가 제공되는 내용을 변경할 수 있습니다. 항상 공개 도메인에서 실제 파일을 가져와 확인하세요.
7. Crawl-delay에 의존하는 것 — Google의 Googlebot은 이를 무시합니다.

부하 조절을 위해 서버 측 속도 제한 (rate limiting) 또는 CDN 제어 기능을 사용하세요.
8. 가치를 확인하지 않고 PDF 차단하기 — 데이터 시트, 인증서, 규정 준수 문서 등은 종종 양질의 B2B 문의를 유도합니다.

로그 우선 감사 (Audit it log-first)

어떤 크롤러가 실제로 사이트에 접속하는지 알기 전에는 차단 목록 (blocklist)을 복사하지 마세요. 작업 흐름은 다음과 같습니다:

1. 원시 서버 로그 내보내기 (Export raw server logs) — User-agent, IP, 타임스탬프, URL, 상태 코드 (status code), 바이트 (bytes), 응답 시간, 호스트/프로토콜.
2. 알려진 크롤러 그룹화 — 위의 카테고리별로 분류합니다.
3. 공식적인 방법이 존재하는 경우 IP 검증 — User-agent 문자열은 쉽게 위조될 수 있습니다. Perplexity와 OpenAI는 검증 정보를 공개하고 있으며, Perplexity는 JSON IP 엔드포인트를 제공합니다.
4. 크롤링된 URL을 비즈니스 가치와 매핑 — 필터/장바구니/스테이징 페이지와 대비하여 실제로 중요한 페이지가 무엇인지 파악합니다.
5. 상태 코드 확인 — 중요한 크롤러에 대한 5xx 오류를 수정하고, 검색/답변 봇에 대한 의도치 않은 403 오류를 조사하며, 404 오류를 정리하고, 리다이렉트 체인 (redirect chains)을 줄입니다.
6. robots.txt와 사이트맵 (sitemaps) 일치시키기 — 사이트맵에는 canonical, 인덱싱 가능한 200 URL만 나열되어야 하며, 차단된 URL을 절대 포함해서는 안 됩니다.
7. 내부 링크 구조 검증 — 주요 페이지가 JavaScript 클릭 이벤트나 고립된 사이트맵 포함 여부에 의존해서는 안 됩니다.
8. 다국어 커버리지 검토 — hreflang 타겟이 크롤링 가능한지, 그리고 canonical 설정이 모든 언어를 영어로 통합해버리지 않는지 확인합니다.
9. CDN/WAF 규칙 확인 — CDN이 의도한 파일을 제공하는지, 그리고 데이터 센터 IP 규칙을 통해 유익한 크롤러를 차단하고 있지는 않은지 확인합니다.
10. 롤백 파일 유지 — 이전 버전을 저장하고, 스테이징 환경에서 테스트한 후, 리스크가 낮은 시간대에 배포하며, 48시간 동안 모니터링합니다.

이 과정을 매월 또는 사이트의 주요 변경 사항이 있을 때마다 실행하고, 제공업체의 업데이트 이후에는 토큰을 다시 확인하세요. 지난 분기에 올바랐던 파일이라도 빠르게 구식이 될 수 있습니다.

FAQ

robots.txt에서 AI 크롤러를 차단해야 하나요?
대부분의 공개 상업용 사이트의 경우, 아니요. 공개 페이지에 대해서는 검색 인덱싱과 답변/검색 크롤러를 허용하고, 가치가 낮은 경로를 제한하며, 명확한 콘텐츠 제어, 라이선스 또는 법적 이유가 있는 경우에만 특정 학습용 (training) 크롤러를 차단하세요.

robots.txt가 AI의 콘텐츠 사용을 막을 수 있나요?
부분적으로만 가능합니다. Disallow는 규정을 준수하는 크롤러(crawlers)에게 특정 경로를 가져가지 말라고 요청하는 것입니다. 이는 이미 수집된 데이터를 되돌리거나, 규정을 준수하지 않는 스크레이퍼(scrapers)를 구속하거나, 다른 소스에서 학습된 콘텐츠를 제거하지는 못합니다.

GPTBot과 OAI-SearchBot의 차이점은 무엇인가요?
GPTBot은 OpenAI의 학습용 크롤러(training crawler)이며, OAI-SearchBot은 ChatGPT 검색 발견(search discovery)을 지원합니다. 많은 사이트들이 가시성(visibility)을 위해 후자는 허용하면서, 학습용 재사용을 막기 위해 전자는 차단합니다. OpenAI의 문서에서 현재 동작 방식을 확인하세요.

Google-Extended를 차단하면 Google 검색 순위에 악영향을 미치나요?
Google은 Google-Extended가 생성형 AI 제품의 사용을 제어하며, 검색 결과 포함(Search inclusion)이나 순위(ranking)에는 영향을 미치지 않는다고 밝히고 있습니다. 실제 위험은 이를 Googlebot과 혼동하는 것입니다.

robots.txt만으로 개인적인 콘텐츠를 보호하기에 충분한가요?
아니요. robots.txt는 공개되어 있습니다. 민감한 경로는 인증(authentication), IP 제한, 서명된 URL(signed URLs), 또는 WAF/CDN 제어가 필요합니다.

*원문은 SeekLab.io에 게시되었습니다. 귀하의 robots.txt, 크롤러 액세스, JS 렌더링, 그리고 사이트맵(sitemap)/내부 링크(internal-link) 설정에 대한 실질적인 검토를 원하신다면, SeekLab에서 무료 감사(free audit)를 제공합니다.