llms.txt는 실제로 효과가 있을까? 데이터가 말하는 답은 '아니오'

요약: llms.txt는 현재로서는 플라시보(placebo)에 가깝습니다. Ahrefs가 137,000개 도메인을 분석한 결과, 파일이 적용된 사이트 중 97%에서 요청을 받은 기록이 없었습니다. 검색 엔진 크롤러(retrieval bots)는 이 적은 나머지 중 약 1%만을 차지했습니다. Google은 공개적으로 llms.txt를 사용하지 않을 것이라고 밝혔습니다. 단순히 박스를 체크하기 위해 넣는다면 10분 안에 추가하세요. 이것 때문에 리테이너 비용을 지불할 필요는 없습니다.

llms.txt는 제안된 컨벤션(convention)입니다. 이는 사이트 루트에 위치하는 마크다운 파일로, 언어 모델(language models)에게 어떤 페이지가 중요하고 해당 사이트가 무엇에 관한 것인지 요약하여 알려주는 역할을 합니다. 이 아이디어 자체는 합리적이며, robots.txt와의 유사성이 명확하기 때문에 에이전시의 제안서에서 빠르게 확산되었습니다.

측정 결과가 보여준 것

Ahrefs는 이 파일을 구현한 약 137,000개의 도메인을 연구하여 실제로 요청을 받은 기록이 있는지 살펴보았습니다. 압도적인 다수(약 97%)는 요청을 받지 못했습니다. 트래픽이 발생한 적은 나머지 사이트들 중에서도, 이 파일을 읽어 유용하게 만들 수 있는 검색 크롤러(retrieval bots)가 차지하는 비중은 약 1%에 불과했습니다.

별도로, Google은 llms.txt를 사용하지 않는다고 공개적으로 밝혔습니다. 이는 컨벤션이 소비자에 의해 채택되어야만 작동하기 때문에 중요합니다. robots.txt는 모든 크롤러가 준수하기 때문에 작동하는 반면, 아무도 읽지 않는 파일은 표준(standard)이 아니라 단순한 제안일 뿐입니다.

청구서에 여전히 등장하는 이유

생산 비용이 저렴하고, 기술적으로 보여 보이며, 단기적으로 클라이언트가 반박하기 어렵습니다. 10분 만에 만들 수 있고, 세련되게 들리며, 계약 기간 내에 허위로 판명될 수 없는 결과물은 신중하지 않은 에이전시에게 이상적인 항목(line item)에 가깝습니다. 저희는 이 파일을 판매하는 대부분의 사람들이 거짓말을 한다고 생각하지 않습니다. 컨벤션 자체는 진정으로 그럴듯하며 측정 데이터도 최근 것입니다.

추가해야 할 유일하게 정직한 이유

비용입니다. 10분밖에 걸리지 않고, 해를 끼치지 않으며, 채택이 나중에 개선될 비영(non-zero) 확률이 있습니다. 잘 만들어진 humans.txt를 다루는 방식처럼 취급하세요: 전략이 아닌 위생 관리 차원입니다. 받아들여질 수 없는 것은 슬라이드 자료, 항목 목록, 또는 월별 비용으로 부과되는 것입니다.

관련 함정: 여러분의 사이트가 404 또는 500 에러를 내지 않도록 하세요

저희는 llms.txt 경로에서 프레임워크 라우팅 기본값 때문에 서버 오류가 발생한 라이브 사이트를 발견했습니다. 이는 파일을 아예 없는 것보다 더 나쁩니다. 잘 알려진 경로에서 에러 페이지가 나오는 것은 사이트 건강에 대한 작은 부정적 신호이기 때문입니다. 만약 이 파일을 추가한다면, 실제로 파일이 반환되는지 확인한 다음 잊어버리세요.

실제로 중요한 것을 확인하는 방법

콘텐츠 결정 전에, 검색 크롤러가 여러분에게 아예 접근할 수 있는지 알아내는 것이 중요합니다. 이것은 5분이면 되며, 목록의 다른 모든 것보다 우선순위가 높습니다.

• AI 검색에서 사용되는 사용자 에이전트(user agents)로 직접 페이지를 요청하고 상태 코드를 확인하세요. 여기서 403 오류가 발생하면 다른 어떤 최적화도 무의미해집니다.

• 브라우저에서 사이트를 로드하는 것에 의존하기보다 CDN이나 방화벽 규칙을 직접 확인하세요. 필터링되는 것은 여러분이 아니라 봇들입니다.

• 자바스크립트(JavaScript)를 비활성화한 상태로 페이지를 가져와서 무엇이 돌아오는지 읽어보세요. 클라이언트 측에서 렌더링되는 앱은 종종 빈 껍데기(empty shell)만 제공하며, 이 껍데기가 인덱싱됩니다.

• 관심 있는 페이지들이 실제로 사이트맵(sitemap)에 포함되어 있고 리디렉션 체인(redirect chain)이 아닌 200 상태 코드를 반환하는지 확인하세요.

Cloudflare는 2025년 7월부터 신규 존(zone)의 AI 크롤러를 기본적으로 차단했습니다. 저희가 살펴보는 사이트 중 상당수는 단지 이 이유 하나 때문에 보이지 않으며, 사이트가 사람에게는 완벽하게 작동하기 때문에 이를 모르는 경우가 많습니다.

그 상관관계에 대해서, 솔직히 말해서

언급(mentions) 수치는 발표된 연구에서 가장 강력한 신호이며, 주의 깊게 읽어야 합니다. 제3자 브랜드 언급과 AI 가시성 사이의 0.664 상관관계는 언급을 구매하는 것이 가시성을 만든다는 증거가 아닙니다. 언급은 또한 더 크고 잘 알려진 브랜드라는 대리 지표(proxy)이기도 하며, 큰 브랜드는 여러 이유로 한 번에 더 많이 노출됩니다.

이것이 정당화하는 것: 파일 요청을 받지 않는 곳보다는 엔진이 이미 해당 카테고리에 인용하는 출처에서 진정으로 존재감을 갖기 위해 지출하는 것입니다. 이것이 데이터의 방어 가능한 해석입니다. 0.664를 여러분이 당기는 레버(lever)로 취급하는 것은 아닙니다.

대신 예산을 어디에 써야 하는가

발표된 연구는 제3자 언급(third-party mentions)을 AI 가시성(AI visibility)의 가장 강력한 상관관계로 지적합니다. Ahrefs는 약 75,000개 브랜드에서 브랜드 언급이 백링크보다 r = 0.664로 높고 0.218로 낮다는 것을 발견했습니다. 그전에, 지루하지만 중요한 것부터 확인하세요. AI 크롤러가 아예 귀하의 사이트에 도달할 수 있는지 여부입니다. Cloudflare는 2025년 7월 이후 새로운 존(zone)에 대해 기본적으로 이를 차단했으며, 이 단 하나의 설정이 그 아래 모든 콘텐츠 결정보다 중요합니다.

• OAI-SearchBot 및 기타 검색 에이전트가 방화벽에서 차단되었는지 확인하세요. 이것이 해당 분야에서 시간당 가장 높은 수익률을 가져옵니다.

• 크롤러가 귀하의 사이트로부터 실제로 무엇을 받는지 확인하세요. 클라이언트 측 렌더링(Client-rendered) 앱은 종종 빈 껍데기(empty shell)만 제공합니다.

• 개체 모순(entity contradictions)을 수정하세요. 하나의 법인 아래에 있는 두 브랜드, 페이지마다 가격이 다른 경우 등이 있습니다.

• 그런 다음, 엔진이 이미 귀하의 카테고리에서 인용하는 출처를 기반으로 매핑된 제3자 게재 공간(third-party placements)에 지출하세요.

만약 에이전시가 llms.txt를 제안서에 넣었다면, 요청 로그(request logs)를 요구하세요. 이것은 합당한 질문이며 그 답변은 나머지 계약 관계가 어떻게 진행될지 많은 것을 알려줍니다. 우리가 실제로 효과적이라고 생각하는 내용에 대한 의견은 /geo. Ivan / 2pizza.team에서 확인하실 수 있습니다.

원래 2pizza.team에 게시되었습니다. 저희는 소규모 팀을 위한 AI 및 자동화 시스템을 구축합니다 – 고정 가격, 2~6주. 작업 내용 보기.