2026년 AI SEO를 위한 robots.txt 설정 방법 (22개 사이트에서 1천만 건의 요청을 확인한 후):

현재 웹 트래픽의 45%는 봇(bots)입니다. 하지만 만약 '모든 AI 봇'을 차단한다면, ChatGPT와 Perplexity가 생성하는 인용 출처를 스스로 없애게 됩니다.

유지해야 할 것과 차단해야 할 것을 알려드립니다 👇

1. 검색 및 AI 답변 봇(Search + AI Answer bots)은 유지하세요 (이들은 실제로 인용하고 링크를 걸어줍니다):

• Googlebot
• bingbot
• Applebot
• OAI-SearchBot + ChatGPT-User
• Claude-SearchBot + Claude-User
• PerplexityBot + Perplexity-User
• DuckAssistBot + Bravebot + YouBot
• ExaSearchBot + LinkupBot + ShapBot (검색 API를 사용하는 AI 에이전트)

2. GPTBot과 ClaudeBot은 유지하세요. 이들은 라이브 검색(live search)을 위한 것이 아니라 크롤러를 학습시키는 목적이지만, 미래 모델들이 아예 검색하기 전부터 귀하의 브랜드를 알기를 원합니다 (그리고 속도가 빠릅니다, 요청당 약 30~120ms).

3. 링크 미리 보기 봇(link preview bots)은 유지하세요 (아니면 공유한 링크가 깨져 보일 수 있습니다):

• facebookexternalhit
• Twitterbot

4. 순수 AI 학습 및 스크래퍼 무임승차자(scraper freeloaders)는 차단하세요 (제 사이트에서 주당 160만 건 이상의 요청이 발생하며, 클릭으로 돌아오는 것은 거의 없습니다):

User-agent: meta-externalagent
User-agent: meta-externalads
User-agent: Reflectionbot
User-agent: ElevenlabsCrawler
User-agent: AionBot
User-agent: TokenFoundryBot
User-agent: Bytespider
User-agent: CCBot
User-agent: AwarioBot
User-agent: QlyzeBot
User-agent: Barkrowler
User-agent: SERankingBacklinksBot
User-agent: SenderBot
User-agent: TernCrawler
User-agent: SQLSpider
User-agent: SpiderLing
Disallow: /

천만에요 🫡