안녕하세요 여러분! 👋
커뮤니티에 합류하게 되어 기쁩니다. 저는 현재 최신 검색 엔진과 AI 에이전트(ChatGPT, Perplexity, Claude)가 웹 앱 및 사이트를 어떻게 파싱하는지에 초점을 맞추고 있습니다. 저는 사이트 추출 가능성, WAF 차단기, 그리고 AI 크롤러를 위한 구조화된 마크업을 점검하는 진단 스캐너인 AI-Primed 작업을 진행하고 있습니다.
지난 1년 동안 거의 모든 주요 기술 팀이 같은 질문을 던지고 왔습니다: "왜 우리 제품이 AI 검색 답변에 나타나지 않는 걸까요?"
회사들이 Perplexity, ChatGPT Search 또는 Claude와 같은 도구로부터 인용되지 못할 때, 기본 가정은 보통 알고리즘적입니다:
- "우리 콘텐츠가 충분히 권위적이지 않다."
- "우리의 도메인 권위가 너무 낮다."
- "우리의 키워드가 의미론적 임베딩(semantic embeddings)에 최적화되어 있지 않다."
콘텐츠 품질이 확실히 중요하지만, 수천 건의 사이트 진단을 실행해 보면 실제 원인은 훨씬 더 간단하고 훨씬 더 좌절감을 주는 경우가 많다는 것을 알게 됩니다:
AI 크롤러가 프론트 도어(front door)를 통과하지 못했다.
웹 애플리케이션이 자체 엔지니어링 팀도 모르게 자율 검색 엔진을 조용히 차단하는 이유와 모든 팀이 검토해야 할 고수준 체크포인트를 소개합니다.
1. CDN 함정: 새로운 크롤러를 공격처럼 취급하는 WAF
대부분의 프로덕션 웹 애플리케이션은 에지 레이어 또는 웹 애플리케이션 방화벽(WAF) 뒤에 위치합니다 (Cloudflare, AWS CloudFront, Fastly, Akamai 등).
DDoS 공격 및 스크래퍼로부터 보호하기 위해 기본 보안 템플릿은 엄격한 봇 관리를 적용합니다:
- 표준적이지 않은 User-Agent에는 상호작용형 CAPTCHA(예: Turnstile 또는 hCaptcha)를 통해 도전을 겁니다.
- 완전한 데스크톱 브라우저 TLS 지문이 부족한 HTTP 클라이언트에 속도 제한을 적용합니다.
- 자율 데이터 센터 IP 범위에서 오는 요청은 조용히 삭제됩니다.
이것이 악의적인 행위자를 차단하는 것은 맞지만, 검색 에이전트는 인간 브라우저가 아닙니다. 자율 모델이 라이브 답변을 합성하기 위해 페이지를 가져올 때, 시각적 도전을 해결하거나 복잡한 JavaScript 퍼즐을 실행할 수 없습니다.
만약 귀하의 CDN이 AI 사용자 에이전트에게 HTTP 403 오류를 제공하거나 상호 작용형(interactive) 검증을 요구한다면, 모델은 텍스트를 전혀 받지 못하고 경쟁사 사이트로 이동하게 됩니다.
2. 시대에 뒤떨어진(Stale-Dated) robots.txt 규칙들
몇 년 전, 많은 엔지니어링 팀들이 공격적인 학습 스크레이퍼가 코드 저장소나 블로그를 무차별적으로 수집하는 것을 방지하기 위해 포괄적인 금지 규칙을 추가했습니다.
문제는 무엇일까요? 많은 팀들이 검색과 추출(extraction)이 별개의 작업으로 분리된 이후로 해당 규칙들을 감사하지 않았다는 것입니다.
오늘날에는 다음 두 가지 사이에 중요한 구분이 존재합니다:
- 학습 스크레이퍼 (Training scrapers): 오프라인 모델 사전 학습을 위해 웹을 크롤링하는 경우.
- 검색 및 검색 에이전트 (Search & retrieval agents): 최종 사용자가 실시간 질문을 할 때 브랜드 정보를 인용하기 위한 실시간 조회(real-time lookups)의 경우.
만약 귀하의 robots.txt가 현대적인 검색 토큰에 대한 명시적 정의 없이 포괄적인 와일드카드(wildcards)를 사용한다면, 이는 실시간 답변 엔진에게 귀하의 사이트가 엄격하게 접근 금지 구역임을 알리는 것과 같습니다.
3. 싱글 페이지 애플리케이션(SPA) 콘텐츠 공백
검색 엔진은 수년 동안 표준 SEO를 위해 자바스크립트 렌더링을 지원해 왔습니다. 하지만 실시간 AI 검색 조회는 엄격한 지연 시간 예산(latency budgets) 하에서 작동합니다 (종종 초 단위 미만).
AI 엔진이 사용자 프롬프트에 답변하기 위해 실시간 웹 조회를 수행할 때, 클라이언트 측 상태 활성화(client-side state hydration)를 실행하기 위해 항상 전체 헤드리스 크로미움 브라우저(headless Chromium browser)를 구동하는 것은 아닙니다.
저희는 현대의 크롤러와 검색 에이전트가 실제 운영 도메인(production domains)을 어떻게 경험하는지 테스트하기 위해 AI-Primed라는 진단 스캐너를 구축했습니다. 이는 엣지 접근성, 추출 장벽, 구조적 마크업 등을 확인합니다.