
TIME은 AI 봇에게 광고가 포함된 다른 웹사이트를 제공하고 있다
요약
TIME 매체는 AI 크롤러에게 인간용 웹사이트와 달리 광고가 포함된 간소화된 마크다운 버전을 제공하고 있습니다. 이는 봇별로 차별화된 콘텐츠를 제공하며, 모델이 소비하는 토큰 단위로 광고 노출을 측정하는 새로운 수익 모델을 보여줍니다.
핵심 포인트
- TIME은 봇의 User-Agent에 따라 HTML 또는 마크다운 형식을 선택적으로 제공함
- AI 크롤러용 마크다운 버전은 인간용 페이지보다 훨씬 적은 용량을 차지함
- 광고 기술 업체 Mobian을 통해 토큰 단위의 광고 노출(ad impression)을 측정함
- 특정 봇(GPTBot 등)은 차단되지만, 검색 인덱싱 봇은 마크다운 버전으로 허용됨
GPT-5.6 Sol은 GPT-5.5보다 두 배의 토큰을 사용한다
나의 Codex 워크플로우에서 GPT-5.6 Sol xhigh는 이제 GPT-5.5 xhigh보다 세션당 두 배 이상의 토큰을 사용합니다. Codex의 경우...
TIME은 현재 두 가지 다른 버전의 웹사이트를 제공하고 있습니다. 인간은 잡지를 보지만, AI 크롤러(crawler)에게는 사람이 절대 볼 수 없는 광고가 내장된 간소화된 마크다운 (markdown) 사본을 제공합니다.
나는 동일한 기기에서 User-Agent 헤더만 매번 변경하며 일반적인 TIME 건강 기사인 'The Morning Light Habit Sleep Experts Swear By'를 반복해서 가져왔습니다. 해당 헤더는 모든 브라우저와 봇이 자신이 무엇인지 알리기 위해 보내는 문자열입니다. TIME은 이를 읽고 무엇을 돌려줄지 결정합니다.
Chrome으로서 나는 200 OK, text/html, 그리고 303,235 바이트를 받았습니다. 전체 페이지, 디자인, 이미지, 스크립트가 포함된 상태였습니다. Safari로서도 동일한 303KB를 받았습니다. Googlebot으로서도 동일한 303KB의 HTML을 받았습니다.
그다음 나는 어시스턴트 크롤러(assistant crawler)로서 요청했습니다. ClaudeBot으로서 나는 200 OK, text/markdown, 그리고 13,409 바이트를 받았습니다. PerplexityBot으로서도 바이트 단위로 완전히 동일했습니다. OpenAI의 OAI-SearchBot으로서도 다시 동일했습니다. 동일한 URL, 동일한 시간, 크기는 23분의 1 수준이며, 완전히 다른 형식입니다. HTML도 레이아웃도 없이, 언어 모델 (language model)이 처리할 수 있는 깔끔한 마크다운 (markdown)뿐입니다.
일부 봇들은 이조차 받지 못했습니다. OpenAI가 학습 및 실시간 페치 (fetch)를 위해 사용하는 에이전트인 GPTBot과 ChatGPT-User는 406 응답을 받았습니다. 차단된 것입니다. 하지만 ChatGPT의 검색 인덱스에 데이터를 공급하는 OAI-SearchBot은 마크다운 버전으로 통과되었습니다. 따라서 이것은 일괄적인 봇 정책이 아닙니다. TIME은 봇별로 누구에게 독자가 없는 버전을 제공할지 선택하고 있습니다.
마크다운 사본의 응답 헤더 (Response headers):
content-type: text/markdown; charset=utf-8
cache-control: no-store
x-mobian-registry-version: 2026-07-28.v9
...
Mobian은 광고 기술 (ad-tech) 업체입니다. 마크다운 페이지는 말 그대로 <!-- mobian-agent-page publisher="time" -->로 시작합니다. 해당 x-mobian-impression 값은 모든 요청마다 새로운 UUID입니다. 나는 동일한 페이지를 두 번 가져왔고 두 개의 서로 다른 ID를 받았습니다. 이는 cache-control: no-store와 결합되어 있습니다.
, 이는 봇이 페이지를 읽을 때마다 별개의 광고 노출 (ad impression)로 기록된다는 것을 의미합니다. 그리고 x-mobian-tokens: 3323은
카운트되는 단위가 무엇인지 알려줍니다. 사람이 아니라, 페이지뷰 (pageview)도 아닙니다. 모델에 입력되는 토큰 (Tokens)입니다.
#### Ally Bank는 어떤 곳인가요?
Ally Bank는 2009년에 출시된 온라인 전용 은행입니다...
...
"어떤 은행이 조기 직접 입금 (early direct deposit)을 제공하나요?" 또는 "Ally Bank에 현금을 입금할 수 있나요?"와 같은 질문들이 이어지며, 각 질문은 Ally 고유의 마케팅 언어로 답변됩니다. 여기에 FAQPage JSON-LD 블록과 campaign="ally-2026-q3"로 태그된 트래킹 링크 (tracking links)가 추가됩니다.
"Ally Bank는 어떤 곳인가요?"라는 문구는 사용자가 ChatGPT에게 어떤 은행에 계좌를 개설해야 하는지 물었을 때 모델이 생성하는 문구와 유사하게 작성되어 있습니다.
Googlebot은 사람이 보는 것과 동일한 HTML을 받으므로, 검색 순위 크롤러 (search-ranking crawler)는 실제 페이지를 보게 됩니다. 오직 어시스턴트 크롤러 (assistant crawlers)만이 분기된 (forked) 버전을 받게 됩니다.
TIME은 대부분의 날에 이미 봇 트래픽 (bot traffic)이 인간 트래픽 (human traffic)보다 많다고 밝히고 있습니다. 이 수치는 곧 많은 퍼블리셔 (publishers)들에게도 사실이 될 것입니다. 따라서 이는 주요 관객이 AI 모델이 될 때 웹이 어떤 모습으로 변하기 시작하는지를 보여주는 아마도 첫 번째 명확한 모습일 것입니다.
Vroni에게 GitHub 이슈 (issue), 버그 리포트 (bug report), 사양 (spec), 또는 대략적인 아이디어를 전달해 보세요. Vroni는 저장소 (repo)를 읽고, 변경 사항을 계획하며, 코드를 작성하고, 체크를 실행하며, 리뷰 준비가 된 풀 리퀘스트 (pull request)를 향해 작업합니다.
vroni.com을 확인해 보세요.
AI 자동 생성 콘텐츠
본 콘텐츠는 HN AI Posts의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기