11개 중 1개의 x402 사이트가 AI 학습 크롤러를 차단
요약
AI 학습 크롤러가 AI 에이전트 서비스 디렉토리인 x402 Bazaar 사이트를 탐색하는 과정에서, 다수의 사이트가 GPTBot과 ClaudeBot 같은 주요 AI 봇에게 접근을 차단(403 Forbidden)하고 있음이 확인되었습니다. 다만, 답변 페이지를 가져오는 특정 크롤러는 여전히 허용되는 경향을 보입니다.
핵심 포인트
- x402 Bazaar 사이트 중 다수가 AI 학습 크롤러 접근을 차단함 (403 Forbidden).
- GPTBot과 ClaudeBot 같은 주요 AI 봇이 가장 많이 차단 대상에 포함됨.
- 답변 페이지를 가져오는 특정 사용자 크롤러는 여전히 허용되는 경향이 있음.
2026년 9월 27일, 908개의 x402 Bazaar 사이트 중 86곳이 AI 학습 크롤러에게 403 응답을 보내 거부했으며, 그중 83곳은 답변 크롤러를 여전히 허용하고 있었습니다.
2026년 9월 27일, 저희는 x402 Bazaar에 나열된 927개 사이트(x402에서 AI 에이전트에게 판매하는 서비스의 공개 디렉토리)가 AI 크롤러를 페이지를 읽는 방식(순수 HTTP, 브라우저 없음, JavaScript 없음)을 확인했습니다. 응답한 908곳 중 9%에 해당하는 86곳은 AI 학습 크롤러인 GPTBot과 ClaudeBot에게 403 Forbidden으로 접근을 차단했습니다. 이 86곳 중 83곳은 답변 페이지를 가져오는 크롤러(OAI-SearchBot, ChatGPT-User, Claude-User 및 PerplexityBot)는 여전히 허용하고 있었습니다.
402registry에서 전체 게시물 읽기: https://402registry.com/blog/x402-sites-turn-claudebot-away?utm_source=devto&utm_medium=social
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기