xZeroProtect: SEO 및 AI 가시성을 위한 스마트한 크롤러 규칙

xZeroProtect는 Webrium framework에 포함된 방화벽 계층으로, 스캐너, 익스플로잇 도구 및 악성 방문자가 코드를 건드리기 전에 애플리케이션으로부터 멀어지도록 구축되었습니다. 이번 업데이트는 전혀 악의적이지 않은 자동 트래픽, 즉 검색 엔진, SEO 감사 도구, 그리고 ChatGPT, Claude, Perplexity와 같은 도구를 구동하는 차세대 AI 크롤러를 처리하는 방식을 개선했습니다.

xZeroProtect On Github

변경된 사항

1. SemrushBot과 AhrefsBot이 더 이상 기본적으로 차단되지 않습니다

이전 버전에서는 이 두 가지 잘 알려진 SEO 크롤러를 공격적인 스캐닝 도구와 동일하게 취급하여 전면 차단했습니다. 실제로는 Semrush와 Ahrefs는 사이트 소유자와 마케터가 백링크 감사 및 경쟁사 조사를 위해 매일 의존하는 합법적인 서비스입니다. 이들은 공격 도구가 아니므로 더 이상 하드 차단 목록에 올라있지 않습니다. 해당 트래픽은 다른 모든 미인증 봇과 마찬가지로 일반 속도 제한기(rate limiter)를 통과하므로, 과도한 크롤링이 전면 차단되거나 무제한으로 허용되기보다는 속도 제한됩니다.

2. AI/LLM 크롤러가 인식되고 신뢰받게 되었습니다

xZeroProtect의 신뢰할 수 있는 크롤러 목록(trusted-crawler list)은 이전에 검색 엔진(Googlebot, Bingbot, Yandex, Baidu...)과 소셜 미리 보기 봇(Twitterbot, Slackbot, Discordbot...)을 포함하며, 각 크롤러를 검증하여 위조된 User-Agent가 침투하는 것을 막았습니다. 하지만 웹에서 AI 비서가 콘텐츠를 발견하고 인용하는 방식에 중요해진 크롤러들에 대해서는 개념이 없었습니다.

이번 업데이트에서는 OpenAI의 GPTBot 및 ChatGPT-User, Anthropic의 ClaudeBot 및 anthropic-ai, PerplexityBot, Common Crawl의 CCBot, Amazonbot, Google-Extended, Applebot-Extended에 대한 인식이 추가되었습니다. 공급업체가 Google-Extended나 Applebot-Extended처럼 지원하는 인프라에서 운영되는 경우, 검증은 이미 Googlebot과 Applebot에 대해 신뢰받고 있는 동일한 이중 DNS 확인을 재사용합니다. 나머지들은 User-Agent를 통해 인식되며, 이는 검증 가능한 DNS 접미사를 게시하지 않는 소셜 크롤러에 이미 적용된 표준입니다.

3. 사소했던 매칭 버그 수정

크롤러 매칭은 첫 번째 일치(first-match basis) 기준으로 작동하며, 항목을 순서대로 확인합니다. 'google-extended'와 'applebot-extended'는 모두 더 짧고 일반적인 'google' 및 'applebot' 문자열을 포함하고 있기 때문에, 자체 전용 규칙에 도달하기 전에 이전의 일반적인 항목들과 조용히 매칭되고 있었습니다. 따라서 이들을 정확하게 문서화하여 추가한 모든 사이트는 아무런 효과도 보지 못했을 것입니다. 두 항목 모두 일반적인 대응 항목들보다 앞쪽으로 재배열되어 이제는 의도대로 매칭이 해결됩니다.

이것이 중요한 이유

무차별적으로 차단하는 방화벽은 더 안전한 것이 아니라, 단지 덜 유용할 뿐입니다. xZeroProtect의 목표는 항상 사이트가 실제로 원하는 트래픽을 방해하지 않으면서 실제 위협(스캐너, 익스플로잇 키트, 자격 증명 채우기 등)을 차단하는 것이었습니다. SEO 도구는 사이트 소유자가 자신의 사이트를 이해하고 개선하도록 돕습니다. AI 크롤러가 페이지가 AI 생성 답변에 인용될지 여부를 결정하는 것은 검색 순위만큼 빠르게 중요해지고 있습니다. 이 둘 모두를 기본적으로 적대적(hostile)으로 취급하는 것은 가시성을 희생할 만큼 지나치게 신중했습니다.

동시에 신뢰는 여전히 조심스럽게 부여됩니다. DNS를 통해 검증할 수 있는 크롤러들은 여전히 그렇습니다. Semrush, Ahrefs 또는 대부분의 AI 봇처럼 검증할 수 없는 크롤러들은 공격자가 속임수를 써서 rate limiting 및 payload scanning을 우회하는 것을 허용하는 전면적인 통과(blanket pass) 없이 통과하도록 합니다. 이번 업데이트는 잠금장치를 약화시키지 않으면서도 문을 통해 허용되는 범위를 넓힙니다.