AI 에이전트가 현재 당신의 사이트를 크롤링하고 있습니다. 이들이 무엇을 찾는지, 그리고 왜 이를 해결하는 것이 파편화되어 있는지에 대하여
요약
AI 에이전트의 웹 크롤링 방식 변화에 따라 기존 SEO를 넘어선 '에이전트 준비성(agent-readiness)'의 중요성을 다룹니다. llms.txt, MCP, 구조화된 데이터 등 에이전트가 정보를 효율적으로 파싱하기 위해 필요한 최신 표준과 신호들을 설명합니다.
핵심 포인트
- AI 에이전트는 단순 검색 봇과 달리 기계가 읽을 수 있는 의도를 요구함
- llms.txt와 agents.txt는 에이전트 시대의 새로운 웹 표준 관습임
- MCP를 통해 에이전트에게 직접적인 도구와 기능을 노출할 수 있음
- 구조화된 데이터와 결제 프로토콜은 에이전트 가시성에 결정적임
- AgentGrade 등 에이전트 준비성을 점검할 수 있는 스캐너 도구 활용 권장
AI 에이전트들이 기존의 SEO 전략으로는 전혀 예측하지 못한 속도로 웹을 크롤링하고 있습니다. GPTBot, PerplexityBot, ClaudeBot, 그리고 점점 늘어나는 MCP 기반 에이전트들이 매일 사이트를 방문하지만, 대부분의 사이트는 div, JavaScript, 그리고 기계가 읽을 수 있는 의도(machine-readable intent)가 없는 200 OK 페이지를 제공할 뿐입니다. 검색 봇(Search bots)은 이 정도로도 충분했지만, 에이전트는 그렇지 않습니다.
저는 몇 달 동안 이 분야의 도구를 구축하며 찾을 수 있는 모든 스캐너와 사양(spec)을 읽어왔습니다. 2026년 현재 에이전트 준비성(agent-readiness)이 실제로 무엇을 의미하는지, 왜 이에 관심을 가져야 하는지, 그리고 진짜 작업이 필요한 곳이 어디인지에 대한 짧고 솔직한 버전을 공유합니다.
에이전트가 찾는 신호들
단일한 사양은 존재하지 않습니다. 중첩된 관습(conventions)의 스택이 존재하며, 서로 다른 스캐너들은 이를 다르게 가중치를 두어 평가합니다. 오늘날 중요한 것들은 다음과 같습니다:
- llms.txt (llmstxt.org). 사이트 루트에 위치한 마크다운(markdown) 인덱스로, LLM에게 사이트가 무엇에 관한 것인지와 어떤 URL이 표준(canonical)인지 알려줍니다. 대략적으로 에이전트 시대의
robots.txt라고 할 수 있지만, 사용자가 아닌 LLM의 이익을 위해 존재한다는 점이 다릅니다. - agents.txt. 어떤 에이전트를 환영하는지, 그리고 어떤 조건 하에 허용하는지를 설명하는 더 새로운 관습입니다. llms.txt보다 표준화되어 있지는 않으며, 규칙이라기보다는 하나의 신호에 가깝습니다.
- MCP (Model Context Protocol). 에이전트에게 도구(tools)를 노출하기 위한 프로토콜입니다. 만약 당신의 사이트가 무언가를 판매한다면, MCP 엔드포인트(endpoint)를 통해 에이전트가 결제 양식을 스크래핑(scraping)하지 않고도 구매할 수 있게 해줍니다.
- 구조화된 데이터 (Structured data). 전통적인 schema.org JSON-LD 방식이지만, 새로운 가중치를 가집니다. 에이전트는 당신의 산문을 파싱(parse)하기 전에 이를 먼저 파싱합니다.
Product,Offer,FAQPage, 또는Organization이 누락되는 것은 조용히 보이지 않게 되는 방법입니다. - 결제 프로토콜 (Payment protocols). x402, L402, MPP. 기계가 결제 가능한 리소스를 위한 신흥 표준들입니다. 아직 필수 요건(table-stakes)은 아니지만, 스캐너들은 이미 이를 기준으로 점수를 매기고 있습니다.
- 서버 신호 (Server signals). 도달 가능한 표준(canonical) URL, JS 전용 콘텐츠가 아님, 합리적인
robots.txt, 작동하는 사이트맵(sitemap), 유효한 TLS, 올바른Content-Type. 지루하지만 결정적인 요소들입니다.
지금 바로 여러분의 사이트에서 이 모든 것들을 직접 확인해 볼 수 있습니다. Cloudflare는 '에이전트 준비 점수 (Agent Readiness Score)'를 포함하는 무료 URL 스캐너를 제공합니다. agentgrade.com의 AgentGrade는 완전히 무료이며 프로토콜 커버리지를 더 심도 있게 다룹니다. Agent Checker는 에이전트가 실제로 수행하는 방식대로 브라우저를 구동하여 전체 감사 (Audit)를 수행합니다 (유료 티어는 약 £19).
스캐너가 알려주지 않는 것
스캐너는 유용합니다. 점수, 실패한 체크 항목 목록, 그리고 문제의 스크린샷을 제공합니다. 하지만 스캐너가 하지 못하는 일은 그 무엇도 '수정'하지 않는다는 것입니다.
그것이 제가 계속해서 마주했던 간극입니다. WordPress 소유자가 스캔을 실행하여 42/100점을 받고, "llms.txt 누락, JSON-LD Product 스키마(schema) 누락, robots.txt가 GPTBot을 차단함"이라는 결과를 확인한 뒤 탭을 닫아버립니다. 왜냐하면 해결책이 파일 하나로 끝나지 않기 때문입니다. 해결 과정은 다음과 같습니다:
- 업데이트를 망가뜨리지 않으면서
wp-content/themes/<theme>/functions.php편집하기 - 스키마 (schema) 플러그인을 설치하고, 설정하고, 충돌 문제를 해결하기
- 실제 사이트맵 (sitemap)과 일치하는 llms.txt 작성하기
- 파일 시스템이 아닌 플러그인에 의해 제공되는
robots.txt조정하기
이를 Webflow (커스텀 코드 주입, 다른 제약 사항), Shopify (Liquid, 테마 레이어), 그리고 Tilda (내장된 SEO 탭, 폐쇄형 플랫폼)에 대입해 보면, CMS(콘텐츠 관리 시스템)마다 해결해야 할 영역이 매우 다릅니다. 이것이 바로 스캐너가 "여기 당신의 점수가 있습니다"에서 멈추는 이유입니다. 실제로 이를 수정하는 것은 시간당 200달러짜리 컨설팅 문제이거나, 주말 내내 문서를 파헤쳐야 하는 작업이 됩니다.
플랫폼별 최소 체크리스트
만약 이 작업을 수동으로 진행한다면, CMS별로 제가 시작할 지점은 다음과 같습니다. 특별한 것은 없으며, 단지 가장 효율이 높은 조치들입니다.
WordPress.
- 루트 디렉토리에 정적
llms.txt를 제공합니다 (Yoast를 사용하거나, 테마 루트에 파일을 넣고functions.php를 통해 경로를 지정할 수 있습니다). - 스키마 (schema) 플러그인 (Rank Math, WP SEO Structured Data 등)을 설치하고 최소한
Organization,WebSite, 그리고 (판매를 한다면)Product를 활성화합니다. robots.txt를 감사합니다: 많은 SEO 플러그인이 조용히GPTBot을 차단합니다. AI 트래픽을 원한다면 허용하십시오.- 판매를 한다면, 제품별로
Offer스키마를 추가합니다. 에이전트는 라벨이 붙지 않은div에서는 구매를 할 수 없습니다.
Webflow.
- Custom Code -> Head Code:
Organization및WebSite를 위한 JSON-LD를 붙여넣습니다. - 정적
llms.txt를 게시합니다 (Webflow 호스팅 외부에서 호스팅하는 경우 Assets 또는 Netlify 리다이렉트 사용). - Project Settings -> SEO에서
robots.txt가 에이전트 유저 에이전트 (user agents)를 허용하는지 확인합니다. - CMS 컬렉션(예: 제품)의 경우, 컬렉션 페이지의 임베드 (embed) 컴포넌트를 통해 항목별 스키마 (schema)를 주입합니다.
Shopify.
theme.liquid에서application/ld+json블록을 지원하는 테마를 사용합니다.- 제품 페이지마다
Product스키마를 추가합니다. 대부분의 최신 테마는 이를 지원하지만, 많은 커스텀 테마는 지원하지 않습니다. - 페이지 템플릿 또는 앱을 통해
llms.txt를 제공합니다 (스토어프런트 루트는 기본적으로 임의의 파일을 허용하지 않습니다). - 조직 정체성을 위해
Merchant스키마 사용을 고려합니다.
Tilda.
- 페이지별 내장 SEO 탭을 사용하되, T123 (HTML) 블록을 통해 JSON-LD를 추가합니다.
- Tilda는 루트에 파일을 쉽게 배치할 수 없습니다. 서브도메인에
llms.txt를 호스팅하고 이를 참조하거나, DNS 제공업체에서 리다이렉트 (redirect)를 사용할 수 있습니다.
이 중 그 어떤 것도 화려하지 않습니다. 하지만 이 모든 것이 점수를 움직입니다.
사이트 소유자로서 내가 원하는 것
솔직히 말해서, 스캔 그 자체만으로는 그렇게 유용하지 않습니다. 이미 문제가 있다는 것을 알고 있다면, 나는 바로 적용할 수 있는 패키지를 원합니다. 이것이 제가 AgentFix를 통해 취한 방향입니다. 무료로 스캔하고, 해결책을 원한다면 귀하의 CMS에 맞는 정확한 파일, 정확한 코드 스니펫 (snippets), 그리고 정확한 설정 변경 사항이 포함된 플랫폼별 패키지($1에서 $99 사이)를 구매하는 방식입니다. 컨설팅도, 플러그인 비대화 (plugin bloat)도, 주말 내내 이어지는 조사도 필요 없습니다.
이것은 홍보가 아니라, "왜 이것이 존재하는가"에 대한 해답입니다. 이 모델의 어떤 부분도 독점적이지 않습니다. 제가 다루지 않는 니치 (niche) 시장을 위해 동일한 것을 만들고 싶다면, 재료는 모두 공개되어 있습니다. 스캐너 로직은 알려진 규칙을 가진 33가지 신호 (signals)이며, 패키지는 단순히 Git으로 관리되는 CMS 전용 번들 (bundles)일 뿐입니다. 해자 (moat)은 진단이 아니라 해결 (remediation)에 있습니다.
시사점 (Takeaways)
시사점 (Takeaways)
- 2026년에는 에이전트 준비도(Agent-readiness)가 실제로 측정 가능한 요소가 될 것입니다. 무료 도구들이 오늘날 여러분을 평가할 것입니다.
- 신호들은 쌓을 수 있지만 파편화되어 있습니다. 가장 많은 사이트에서 우선순위로 고려해야 할 것은 llms.txt + JSON-LD + MCP + 결제 프로토콜입니다.
- 스캐너는 '무엇(what)'인지 알려줍니다. '어떻게 고칠지(how to fix)'는 CMS별로 다르며, 현재는 대부분 수동 작업이 필요합니다.
- 만약 여러분이 웹사이트를 소유하고 AI 에이전트 트래픽을 원한다면, 돈을 쓰기 전에 스캔과 체크리스트에 30분을 투자하세요.
이 내용이 유용했다면, 수정 단계(fix step)의 단축키가 필요할 때 agentfix.pro를 이용하시면 됩니다. 그렇지 않다면 위의 체크리스트들이 확실한 시작점이 될 것입니다.
Canonical: agentfix.pro
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기