SEO 전문가들이 모인 방에서 llms.txt 파일이 필요한지 물어본다면 논쟁이 벌어질 것입니다. 하지만 실제로 무엇이 그 파일을 가져가는지(fetch) 물어본다면 방 안은 조용해질 것입니다.

이제 데이터가 나왔고, 그 결과는 냉혹합니다. Ahrefs가 137,210개의 도메인에서 서버 로그를 추출했습니다. 그중 28%가 llms.txt를 게시하고 있었습니다. 2026년 5월 기준으로, 해당 파일들의 97%는 요청을 전혀 받지 못했습니다. 단 1,100여 개의 도메인만이 해당 파일에 대한 트래픽을 경험했습니다.

이것이 이야기의 끝처럼 들릴 수도 있습니다. 하지만 그렇지 않습니다. 왜냐하면 실제로 발생한 소수의 요청들은 이 파일이 정확히 누구를 위한 것인지를 알려주며, 그것은 그 누구도 최적화하려 했던 대상이 아니기 때문입니다.

이 파일의 실제 정체

llms.txt는 도메인의 루트 경로인 /llms.txt에 위치한 Markdown 파일로, 각 페이지에 대한 한 줄 설명과 함께 가장 중요한 페이지들을 나열합니다. Jeremy Howard는 2024년 9월 3일에 이 제안을 발표했습니다.

그 논리는 타당합니다. HTML로 렌더링된 문서(docs) 페이지는 대부분 문서 그 자체라고 보기 어렵습니다. 내비게이션 바(nav bars), 사이드바(sidebars), 쿠키 배너(cookie banners), 그리고 프레임워크 래퍼 div(framework wrapper divs)들로 가득 차 있기 때문입니다. 모델이 이 모든 것을 씹어 삼키게 만들면, 가져오기(fetch) 작업의 대부분을 아무 의미 없는 것에 소비하게 됩니다. Markdown 인덱스(index)는 토큰(tokens) 비용을 아주 적게 쓰면서 중요한 페이지들을 곧장 가리켜 줍니다.

형식은 간단하며 H1만 있으면 됩니다. Cloudflare는 깔끔한 예시를 게시했으며, 여기서는 일부를 생략했습니다:

# Cloudflare Developer Documentation

> 아래의 각 제품은 전체 인덱스가 포함된 자체 llms.txt로 연결됩니다
...

여기서 벤치마킹할 만한 두 가지가 있습니다. Cloudflare는 형식을 중첩(nest)하여, 모든 제품이 각자의 llms.txt를 갖게 하고 루트 파일이 디렉토리의 디렉토리 역할을 하게 만듭니다. 그리고 모든 링크에는 설명(description)이 포함되어 있는데, 이것이 바로 대부분의 사람들이 건너뛰는 부분이자 실제로 핵심적인 역할을 하는 부분입니다. URL만 나열된 목록은 모델에게 어떤 것을 열어야 할지에 대해 아무런 정보도 주지 못합니다.

이와 형제 격인 파일인 llms-full.txt는 에이전트(agent)가 단 한 번의 요청으로 모든 내용을 불러올 수 있도록 전체 문서 세트를 하나의 커다란 마크다운 (Markdown) 파일로 평탄화(flattened)한 것입니다. 이는 원래의 제안에는 포함되어 있지 않았습니다. 이 파일은 문서 플랫폼, 특히 Mintlify에서 파생되었으며, 에이전트가 문서 사이트를 가리켰을 때 실제로 원하는 것이 바로 이것이기 때문에 널리 퍼지게 되었습니다.

SEO 문제는 해결되었습니다, 정답은 '아니오'입니다

Google의 AI 기능 문서에 따르면, AI 개요(AI Overviews)나 AI 모드(AI Mode)에 나타나기 위해 새로운 기계 판독 가능 (machine readable) 파일이나 AI 텍스트 파일을 생성할 필요는 없다고 명시되어 있습니다. John Mueller는 별도로 llms.txt를 추측에 기반한 것이라고 부르며, 이를 키워드 메타 태그 (keywords meta tag)에 비유했고, 어떤 AI 시스템도 이를 사용하지 않는다는 어색한 사실을 지적했습니다.

robots.txt가 작동하는 이유는 크롤러 (crawlers)가 이를 준수하기로 동의했기 때문입니다. sitemap.xml이 작동하는 이유는 검색 엔진이 이를 소비하기로 동의했기 때문입니다. llms.txt는 상대방(counterparty) 없이 출시된 좋은 아이디어일 뿐입니다. 만약 더 많은 AI 답변에 나타나기를 기대하며 이 파일을 추가했다면, 당신은 지불한 대가만큼의 결과를 얻지 못한 것입니다.

이제 흥미로운 절반입니다

Ahrefs는 단순히 0의 개수만 센 것이 아닙니다. 그들은 실제로 도달한 요청들을 분류했습니다.

이 표를 두 번 읽어보십시오.

llms.txt의 단일 최대 소비자는 당신에게 llms.txt가 있는지 확인하는 SEO 툴링 (tooling)입니다. 자신의 꼬리를 먹고 있는 뱀과 같습니다.

그리고 이름이 명시된 두 번째로 큰 AI 페처 (fetcher)는 Claude Code입니다. 그것은 검색 엔진이 당신의 브랜드를 발견하는 것이 아닙니다. 그것은 이미 당신의 제품이 존재한다는 것을 알고 터미널에 앉아 있는 개발자가, 에이전트에게 당신의 문서를 가리키며 인증 흐름 (auth flow)을 읽으라고 명령하는 것입니다.

모든 IDE 에이전트는 동일한 동작으로 수렴했습니다. Cursor, Windsurf, Claude Code 또는 Copilot을 문서 사이트로 지정하면, 이들이 가장 먼저 찾는 것은 /llms.txt와 /llms-full.txt입니다. 왜냐하면 그것이 문서 세트를 로드하는 가장 저렴한 방법이기 때문입니다.

llms.txt는 SEO (검색 엔진 최적화) 전략으로 마케팅된 문서 전달 형식입니다. 이러한 불일치 때문에 이 형식을 연구하는 모든 결과가 실패처럼 읽히는 것입니다.

약 10분 만에 작성하기

1. 신입 사원에게 보낼 페이지 목록 만들기: 모든 페이지를 다 넣지는 마세요. 해당 도구가 무엇인지, 어떻게 설치하는지, 그리고 가장 흔한 세 가지 작업은 어떻게 수행하는지를 설명하는 페이지들입니다. 15개에서 50개 사이의 링크가 일반적인 범위입니다. 400개의 링크가 담긴 파일은 불필요한 단계가 추가된 사이트맵 (sitemap)일 뿐입니다.

2. H1과 인용구 (blockquote) 작성하기: H1은 프로젝트 이름입니다. 인용구는 모델이 다른 것을 읽기 전에 당신이 무엇인지 이해할 수 있게 해주는 한두 문장입니다. 구체적이어야 합니다. "Claude와 Cursor를 누락된 데이터에 연결하는 MCP 네이티브 도구"가 "현대적인 팀을 위한 플랫폼"보다 훨씬 낫습니다.

3. H2 헤딩 아래에 링크 그룹화하기: 제품별, 작업별, 또는 문서의 섹션별로 분류하세요. 헤딩은 문맥 (context)을 제공하므로, 모델이 추론할 수 있는 이름으로 지으세요. "시작하기 (Getting started)"와 "API 레퍼런스 (API reference)"는 유용합니다. "리소스 (Resources)"는 유용하지 않습니다.

4. 모든 링크에 설명 달기: 형식은 [페이지 제목](https://example.com/page/): 이 페이지가 다루는 내용입니다. 페이지에 이미 메타 설명 (meta descriptions)이 있다면 그것을 재사용하세요. 이 부분은 파일에서 가장 가치가 높은 부분이며, 대부분의 공개된 예시들이 가장 게으르게 처리하는 부분이기도 합니다.

5. 직접 관리하지 말고 생성하기: 수동으로 작성된 llms.txt는 한 달 안에 쓸모없어집니다. 빌드 타임 (build time)에 문서 내비게이션과 각 페이지의 프론트매터 (frontmatter)로부터 생성하면 실제 문서 세트와 어긋나지 않습니다. 정적 사이트 (static site)라면 빌드 코드로 20줄 정도면 충분합니다.

https://yourdomain.com/llms.txt 경로에서 text/plain 형식으로 제공하고 절대 URL을 사용하세요. 상대 경로 링크는 가장 흔한 실수이며, 다른 곳에서 파일을 가져온 에이전트 (agent)에게는 파일을 망가뜨리는 원인이 됩니다.

그렇다면, 배포해야 할까요?

문서화(documentation)가 되어 있다면 배포하세요: 개발자들이 AI 도구를 귀하의 문서로 안내한다면, 이는 에이전트가 깔끔한 인덱스(index)를 읽느냐, 아니면 인증 흐름(auth flow)을 찾기 위해 렌더링된 4개의 HTML 페이지를 스크래핑(scraping)하느냐의 차이를 만듭니다. 이는 잠재적 고객이 될 가능성이 가장 높은 사람에게 실질적인 개선을 제공하며, 비용은 빌드 스크립트(build script) 하나면 충분합니다.

마케팅 사이트를 운영 중이며 AI 가시성(visibility)을 원한다면 건너뛰세요: 귀하의 에이전시에 관한 10페이지 분량의 사이트에는 10페이지에 대한 기계 판독 가능(machine-readable) 인덱스가 필요하지 않습니다. 아무도 이를 가져가지 않을 것이며, 이 작업에 드는 한 시간은 인용(citation)을 실제로 발생시키는 작업에 쓸 수 있는 한 시간을 낭비하는 꼴입니다.

절대로 기본 요소의 대체제로 취급하지 마세요: 이 파일은 빈약한 콘텐츠를 인용 가능하게 만들 수 없으며, JavaScript 없이 빈 껍데기로 렌더링되는 페이지를 수정할 수도 없습니다. 또한, robots.txt에서 이미 부여하지 않은 크롤링 권한(crawl permission)을 부여하지도 않습니다.

누군가는 말해야 하기에, 불편한 진실을 말씀드리겠습니다. 많은 llms.txt 관련 조언이 존재하는 이유는 "이 파일을 추가하세요"라는 말이 팔기 쉽고 체크리스트를 채우기 쉽기 때문입니다. 이는 결과물(deliverable)의 형태를 띠고 있으며, 몇 분이면 끝나고, 아무런 효과가 없다는 것을 아무도 증명할 수 없습니다. 이러한 조합은 바로 키워드 메타 태그(keywords meta tag)가 더 이상 중요하지 않게 된 후에도 10년 동안 살아남았던 방식과 정확히 일치합니다. 코딩 에이전트(coding agents)를 위해 파일을 배포하세요. 하지만 이를 전략 기획서(strategy deck)에 넣지는 마십시오.

귀하의 파일이 실제로 효과가 있는지 확인하는 방법

액세스 로그(access logs)에서 llms.txt를 grep으로 검색하여 사용자 에이전트(user agents)를 확인하세요. 그것이 진짜 질문에 답할 수 있는 유일한 측정 방법입니다. 코딩 에이전트의 트래픽이 발생한다는 것은 파일이 제 역할을 하고 있다는 뜻입니다. 3개월 동안 감사 도구(audit tools) 외에 아무것도 없다면, 그것이 귀하에게 어떤 가치가 있는지를 정확히 알려주는 것입니다.

만약 귀하의 목표가 AI 가시성(visibility)이었다면, 전술(tactic) 대신 결과(outcome)를 측정하세요. ChatGPT, Claude, Perplexity에 귀하의 타겟 질문을 던져보고, 귀하의 이름이 언급되는지 여부를 기록하십시오.

솔직히 말씀드리면, 저는 이 분야의 툴링(tooling)을 개발하고 있습니다. ContextBolt SEO는 호스팅형 SEO MCP 서버입니다. Claude Code, Cursor 또는 Codex에 URL 하나를 붙여넣은 다음, AI 도구들이 귀하를 언급하고 있는지, 그리고 지정된 경쟁사들에 비해 귀하의 점유율(share of voice)이 어떻게 변하고 있는지, 그리고 별도의 129달러짜리 도구를 사용해야만 알 수 있었던 키워드, 순위, 백링크(backlink) 작업 결과 등을 일상적인 언어로 물어보십시오. 비용은 월 35달러이며, 월 단위로 결제됩니다.

전체 사양 표와 복사 가능한 예시가 포함된 더 자세한 내용은 llms.txt 파일을 작성하는 방법에 대한 저의 가이드에 있습니다.

llms.txt는 과장해서 홍보했던 사람들 때문에 나쁜 평판을 얻게 된, 좋은 파일입니다. 이것은 랭킹 신호(ranking signal)가 아니며, 결코 그런 적도 없었습니다. 이것은 코딩 에이전트(coding agent)에게 내비게이션 바(nav bar)를 읽게 만들지 않고도 문서(documentation)를 전달하는 방법입니다. 그 용도로 판단한다면, 이 파일은 제 역할을 다합니다.