AI 검색 엔진 — ChatGPT, Perplexity, Claude, 그리고 Google AI Overviews — 은 2026년 초 기준으로 영어 정보성 쿼리의 약 12~18%를 처리하고 있습니다. 이 점유율은 1년 전에는 2% 미만이었습니다. 전통적인 검색이 여전히 전체 트래픽 양을 지배하고 있지만, AI 기반 방문은 더 높은 전환율을 기록하며 완전히 다른 규칙을 따릅니다.

이 분야에는 이름이 있습니다: 생성 엔진 최적화 (Generative Engine Optimization, GEO). 검색 결과 페이지의 순위를 목표로 하는 기존의 SEO와 달리, GEO는 귀하의 콘텐츠가 합성된 AI 답변에 포함되도록 하는 데 집중합니다. 반드시 권위가 가장 높은 도메인이 아니라, 특정 질문에 대해 가장 명확하고 구조화된 답변을 제공하는 쪽이 승리합니다.

모든 개발자가 다루어야 할 네 가지 기술적 계층은 다음과 같습니다.

계층 1 - robots.txt를 통한 AI 크롤링 접근 제어

무엇보다 먼저, 올바른 크롤러가 귀하의 콘텐츠에 도달할 수 있는지 확인하십시오. 대부분의 튜토리얼이 생략하는 중요한 차이점이 있습니다: 검색(retrieval) 크롤러와 학습(training) 크롤러는 목적이 다른 별개의 에이전트라는 점입니다.

검색 크롤러는 실시간 쿼리 응답을 구동하고 인용 트래픽을 유도합니다. 여기에는 OAI-SearchBot (ChatGPT), Claude-Web (Claude.ai), PerplexityBot, 그리고 Google-Extended가 포함됩니다. 이들은 허용해야 합니다.

GPTBot, ClaudeBot, CCBot과 같은 학습 크롤러는 미래의 모델 가중치(weights)를 구축하기 위해 콘텐츠를 스크래핑합니다. 이들은 인용을 생성하지 않습니다. 이들을 차단하는 것은 선택 사항이지만 널리 행해지고 있습니다. 참고: ClaudeBot은 Anthropic의 학습용 스크래퍼이며, 실시간 검색을 처리하는 Claude-Web과는 별개입니다. 하나를 차단한다고 해서 다른 하나가 차단되지는 않습니다.

또한 robots.txt 수준과 CDN 모두에서 Bytespider를 차단하십시오. 이들은 차단 규칙을 무시하는 이력이 있습니다.

계층 2 - llms.txt 파일 게시

llms.txt는 도메인 루트에 배치되는 일반 Markdown 파일입니다. 이는 AI 에이전트에게 귀하의 가장 중요한 페이지들에 대한 큐레이션된 인덱스를 제공하여, 일반적인 HTML 페이지를 어지럽히는 탐색 메뉴, 쿠키 배너, 광고 스크립트를 건너뛸 수 있게 해줍니다.

2026년 중반까지 Stripe, Vercel, Cloudflare, Anthropic과 같은 기업들은 모두 이를 게시할 것입니다. Cursor 및 유사한 AI 코딩 도구들은 개발자 제품에 관한 질문에 답변할 때 이를 적극적으로 읽습니다.

집중도를 유지하세요. 평이한 언어로 된 설명을 곁들인 20~50개의 우선순위 링크를 구성하십시오. 전체 사이트맵(sitemap)을 한꺼번에 쏟아붓는 것은 피해야 합니다. 각 링크의 설명은 키워드를 채워 넣기 위한 것이 아니라, "여기서 무엇을 배울 수 있는가?"라는 질문에 답할 수 있도록 작성하십시오. 만약 귀하의 사이트가 문서(documentation) 중심이라면, llms-full.txt를 함께 게시하는 것을 고려하십시오. 이는 주요 페이지들을 하나의 완전한 마크다운 (Markdown) 파일로 내보낸 것으로, 에이전트(agent)들이 각 페이지를 개별적으로 가져오지 않고도 상세한 질문에 답변할 수 있게 해줍니다.

레이어 3 - 구조화된 데이터 (Structured Data) 및 JSON-LD

이것은 GEO (Generative Engine Optimization)에서 가장 높은 수익률을 보이는 투자입니다. JSON-LD 구조화된 데이터는 AI 시스템에 귀하의 콘텐츠가 정확히 무엇인지, 그리고 어떤 질문에 답변하는지를 알려줍니다. FAQPage 스키마(schema) 하나만으로도, 일반 산문 형태로 작성된 동일한 콘텐츠보다 인용률을 3배 이상 높이는 상관관계를 보입니다.

루트 레이아웃(root layout)에 Organization 스키마를 추가하십시오. 이는 전체 도메인에 걸쳐 브랜드 정체성을 확립하고, sameAs 속성을 통해 사이트를 검증된 소셜 프로필과 연결하여 AI 시스템이 서로 다른 출처에 걸친 브랜드 언급을 통합하는 데 도움을 줍니다.

FAQPage 스키마는 AI 검색에서 가장 많이 인용되는 스키마 유형입니다. 각 질문-답변 쌍은 독립적인 인용 후보가 됩니다. 답변을 완전하고 자기 완결적인 문장으로 작성하십시오. AI는 주변 맥락 없이 답변 텍스트만 추출하기 때문입니다.

또한 모든 블로그 포스트에 Article 스키마를 추가하고 dateModified를 최신 상태로 유지하십시오. Perplexity는 최신성(freshness)을 최상위 순위 신호로 취급합니다. 오래된 날짜는 정확하고 품질이 높은 콘텐츠조차 인용을 억제할 수 있습니다.

참고: Google은 2026년 5월부로 일반 검색에서 FAQ 리치 결과(rich results)를 폐지했지만, FAQPage 스키마는 특히 AI 인용 엔진을 위해 여전히 매우 효과적입니다.

레이어 4 - AI 추출을 위한 콘텐츠 구조

기술적 설정은 AI 크롤러(crawler)를 귀하의 페이지로 유도합니다. 콘텐츠 구조는 그들이 실제로 귀하를 인용할지 여부를 결정합니다.

해당 페이지가 다루는 주요 질문에 대해 40~60단어 내외의 직접적인 답변으로 모든 중요한 페이지를 시작하세요. ChatGPT와 Perplexity 모두 답변이 앞서 나오는 콘텐츠를 우선시합니다.

가능할 때마다 독창적인 데이터(original data)를 게시하세요. 독점적인 벤치마크(benchmarks), 설문 조사 결과, 실제 측정값은 AI 엔진 전반에서 가장 많이 인용되는 콘텐츠 유형 중 하나입니다. 추출하기 쉬운 형태로 정보를 구성하세요: 표(tables), 번호가 매겨진 단계(numbered steps), 코드 블록(code blocks)은 안정적으로 파싱(parse)됩니다. 표에 정리된 가격 정보는 문단 속에 묻혀 있는 동일한 가격 정보보다 더 자주 인용됩니다.

출처를 인용하세요. AI 시스템은 콘텐츠를 교차 참조(cross-reference)하며, 연구 논문이나 공식 문서와 같은 1차 출처(primary sources)로 연결되는 페이지에 대해 측정 가능한 신뢰 선호도를 보입니다.

설정 테스트 및 검증

가장 직접적인 테스트 방법은 수동 방식입니다: 귀하의 콘텐츠가 답변해야 할 질문들을 ChatGPT, Perplexity, Claude에서 검색해 보고, 귀하의 도메인이 인용(citations)에 나타나는지 확인하세요.

GA4에서 chatgpt.com, perplexity.ai, claude.ai와 일치하는 추천 소스(referral sources)를 필터링하여 AI 추천 트래픽(AI referral traffic)을 모니터링하세요. validator.schema.org에서 구조화된 데이터(structured data)를 검증하세요. 단 하나의 잘못된 JSON-LD 블록이라도 페이지에 눈에 보이는 오류 없이 조용히 실패할 수 있습니다. llms.txt가 HTML이나 리다이렉트가 아닌 일반 마크다운(Markdown) 형식을 yourdomain.com/llms.txt에서 반환하는지 확인하세요.

구현 체크리스트

1. robots.txt 업데이트 - 검색 에이전트(retrieval agents) 허용, 학습용 크롤러(training crawlers) 여부 결정, Bytespider 차단.
2. llms.txt 게시 - 정확한 한 문단 분량의 브랜드 요약을 작성하고 20~40개의 우선순위 링크를 큐레이션(curate)하세요.
3. 루트 레이아웃(root layout)에 Organization 스키마(schema)를 추가하고 검증하세요.
4. 모든 블로그 포스트와 문서에 Article 스키마를 추가하세요 - dateModified를 최신 상태로 유지하세요.
5. 실제 질문과 답변 콘텐츠가 있는 모든 페이지에 FAQPage 스키마를 추가하세요.
6. 주요 페이지 감사(Audit) - 주요 답변이 처음 100단어 이내에 나타나는지 확인하세요.
7. 테스트 - 스키마 검증, llms.txt 접근성 확인, AI 엔진에 직접 질의, 추천 트래픽 모니터링.

결론

GEO (Generative Engine Optimization)는 SEO (Search Engine Optimization)를 대체하는 것이 아닙니다. 이는 구현하는 데 몇 시간이 걸리지만, 빠르게 성장하는 채널에서 보상을 가져다주는 추가적인 레이어입니다. robots.txt 업데이트는 15분이면 충분합니다. llms.txt를 게시하는 데는 한 시간이 걸립니다. Organization 스키마 (Organization schema)를 추가하는 것은 자동으로 전파되는 일회성 변경 사항입니다.

더 어렵고 가치 있는 작업은 콘텐츠 품질입니다: 직접적인 답변을 작성하고, 독창적인 데이터를 게시하며, 날짜를 최신 상태로 유지하는 것입니다. 이러한 작업은 전통적인 검색과 AI 인용 모두에서 동시에 복리로 작용합니다.

References

• 원문 기사: https://devtoollab.com/blog/generative-engine-optimization-guide
• Agent Readiness Scanner: https://devtoollab.com/tools/agent-readiness-scanner
• LLMs.txt Generator: https://devtoollab.com/tools/llms-txt-generator
• Schema Markup Generator: https://devtoollab.com/tools/schema-markup-generator
• Robots.txt Generator: https://devtoollab.com/tools/robots-txt-generator