llms.txt는 사이트 루트 디렉토리에 위치한 마크다운(Markdown) 파일로, AI 도구에게 여러분의 제품이 무엇인지 그리고 어떤 페이지를 읽어야 하는지 알려줍니다. 짧은 요약, 사람들이 자주 오해하는 사실들의 블록, 그리고 페이지의 마크다운 복사본에 대한 그룹화된 링크들을 작성하세요. 그런 다음 사이트맵(sitemap)을 생성할 때와 같은 단계에서 이를 생성하여 내용이 누락되지 않도록 하세요.
저는 demovexa.com에 있는 파일을 관리하고 있습니다. 현재 이 파일은 447줄입니다. 저희 사이트에 블로그 게시글이 올라오면, 그 글이 여기에 표시되고 마크다운 복사본이 로드될 때까지는 완료된 것으로 간주하지 않습니다. 처음으로 작성하는 사람에게 해주고 싶은 이야기는 다음과 같습니다.
핵심 요약 (Key takeaways)
- llms.txt는 표준(standard)이 아니라 llmstxt.org에서 제안한 것입니다. 어떤 어시스턴트도 이를 읽겠다고 약속한 적은 없습니다.
- 오해하기 쉬운 사실들, 즉 제품이 무엇인지, 플랫폼, 요구 사항, 버전을 먼저 언급하세요.
- 페이지의
.md 복사본에 링크하고, 이를 text/markdown으로 제공하세요.
- 모델이 건너뛰어도 되는 내용은
## Optional 제목 아래에 배치하세요.
- 사이트맵과 동일한 인덱스에서 파일을 구축하고, 배포 후 매번 확인하세요.
목차 (Contents)
- llms.txt란 무엇이며, 누가 읽나요?
- 맨 위에는 무엇이 들어가야 하나요?
- 링크는 어떻게 그룹화해야 하나요?
- 왜 마크다운 미러를 제공해야 하나요?
- 오래된 정보가 되는 것을 어떻게 막나요?
- 자주 묻는 질문 (FAQ)
llms.txt란 무엇이며, 누가 읽나요?
이것은 /llms.txt에서 서비스되는 일반 마크다운 파일입니다. 이 형식은 2024년 llmstxt.org에서 제안되었습니다. 필요한 부분은 단 하나입니다: 프로젝트 이름으로 된 H1 제목입니다. 그 다음에는 인용문 요약(blockquote summary), 선택적인 자유 텍스트, 그리고 각 항목마다 짧은 설명이 붙은 링크 목록을 담고 있는 H2 섹션들이 이어집니다.
누가 이 파일을 가져가나요? 명확한 답은 없습니다. 따라서 주장하는 사람에게는 조심해야 합니다. 비용은 파일 하나입니다. 이를 찾는 도구는 여러분의 내비게이션 바(nav bar)를 스크랩하는 대신 자체적인 단어들을 사용하게 됩니다. 저희에게는 그 교환이 쉬웠습니다.
본 게시물은 동일한 문제의 페이지 측면을 다룬 AI 어시스턴트가 제품을 인용하도록 하는 방법의 더 긴 글을 각색한 것입니다.
상단에는 무엇을 배치해야 할까요?
어시스턴트가 가장 자주 틀리는 사실들을 배치하세요. 제품의 경우, 이는 보통 그것이 무엇인지, 어디에서 실행되는지, 무엇이 필요한지, 그리고 비용은 얼마인지를 의미합니다.
저희는 요약(summary)으로 시작한 다음, "핵심 정보(Key facts)" 목록을 제공합니다. 간소화된 버전은 다음과 같습니다:
# DemoVexa
> DemoVexa는 소프트웨어 제품의 코드를 세련된 제품 비디오로 변환합니다...
...
각 사실은 단독으로 인용되어도 의미가 통하도록 작성하세요. "로컬에서 실행됨(Runs locally)"은 모호합니다. "코드 폴더는 절대 업로드되지 않음(The code folder is never uploaded)"은 확인할 수 있습니다.
저희 파일에서 발견한 경고 사항이 하나 있습니다. Version: 라인은 빌드가 이를 작성하지 않는 한, 출시하는 순간 틀리게 됩니다. 사실을 자동화할 수 없다면, 아예 빼는 것이 좋습니다. 기계용으로 만들어진 파일에 있는 오래된(stale) 사실은 아무 사실이 없는 것보다 더 나쁩니다.
링크는 어떻게 그룹화해야 할까요?
독자가 가질 법한 질문별로 그룹화하고, 각 노트에는 해당 페이지가 무엇을 답변하는지 명시하세요. 노트에 제목을 반복하지 마세요.
| 섹션 | 포함 내용 | 예시 노트 |
|---|
| Product | 홈(Home), 기능(features), 가격 책정(pricing), FAQ | "플랜, 제한 사항 및 청구 관련 질문" |
| ... | | |
저희 문서 링크는 "시작하기(Getting started)", "워크스페이스(Workspaces)", "비디오 제작(Making videos)"과 같은 섹션으로 분할되어 있으며, 각각은 .md URL을 가리킵니다. | | |
이제 솔직한 이야기를 하겠습니다. 저희 문서는 74 KB로, 제안서가 염두에 둔 것보다 훨씬 큽니다. 블로그 목록만 해도 49개의 항목이 있습니다. 만약 제가 오늘 시작한다면, 메인 파일은 제품과 문서에만 두고 블로그 목록은 선택 사항(Optional) 아래로 옮길 것입니다. 큰 파일들은 그것들을 읽는 어떤 시스템의 컨텍스트 창(context window)을 많이 소모합니다.
만약 모든 것을 담은 하나의 파일을 원한다면, llms-full.txt를 추가하고 '선택 사항'에서 링크하세요. 저희 버전은 모든 문서 페이지를 Markdown으로 포함하며 대략 400 KB에 달합니다.
왜 마크다운 미러를 제공해야 할까요?
HTML 페이지는 너무 많은 노이즈를 담고 있기 때문입니다. 스크립트, 내비게이션(nav), 푸터, 동의 배너 등이 포함되어 있습니다. 같은 경로에 .md 확장자를 가진 Markdown 복사본은 독자에게 순수한 텍스트만 제공합니다.
저희 사이트의 모든 블로그 URL에는 쌍둥이(twin)가 있습니다. .md 버전은 text/markdown을 반환하며, 제목(title), 설명(description), 날짜(date), 작성자(author)와 정식 URL(canonical URL)을 포함하는 source 라인으로 시작합니다. 마지막 필드가 중요합니다. 누군가 텍스트를 복사할 때, 원래 주소도 함께 이동하기 때문입니다.
다음과 같이 확인해 보세요:
curl -sI https://demovexa.com/blog/demo-video-sample-data.md | grep -i content-type
# content-type: text/markdown; charset=utf-8
이러한 아이디어는 비디오에도 적용됩니다. 적절한 자막 파일을 가진 사용 방법 클립은 기계에게 음성으로 된 단계를 텍스트로 제공합니다.
오래되거나 비정상적으로 되는 것을 어떻게 막을까요?
llms.txt를 수동으로 편집한 파일이 아니라 빌드 결과물(build output)로 취급하세요. 저희는 sitemap과 동일한 게시 체크리스트에 이 파일을 배치했습니다.
sitemap.xml을 생성하는 것과 동일한 콘텐츠 인덱스에서 llms.txt를 생성합니다.
- HTML 소스와 동일한 출처에서 빌드 시점에
.md 미러를 생성합니다.
- 가격 책정이나 요구 사항 같은 사실 정보는 제품 페이지가 사용하는 데이터에서 가져와서, 서로 모순되지 않도록 합니다.
- 배포(deploy) 후 매번 새 페이지가 목록에 포함되어 있고 해당 미러가 로드되는지 확인합니다.
4단계는 몇 줄의 셸 스크립트입니다:
slug=demo-video-sample-data
curl -s https://demovexa.com/llms.txt | grep -q "$slug" \
&& echo "listed" || echo "missing from llms.txt"
...
배포 후 매번 CI(지속적 통합)에서 실행하여, 페이지가 누락되었을 때 조용히 실패하는 대신 명확하게 오류를 알리도록 합니다.
자주 묻는 질문 (FAQ)
llms.txt와 robots.txt는 같은 건가요?
아닙니다. robots.txt는 크롤러에게 무엇을 가져갈 수 있는지 알려줍니다. llms.txt는 읽기 목록(reading list)입니다. 무언가를 허용하거나 차단하지 않습니다.
llms.txt가 구글 순위에 도움이 될까요?
도움이 된다는 증거를 본 적이 없습니다. 구글은 귀하의 HTML 페이지를 순위화합니다. llms.txt는 AI 도구를 위한 것으로 취급하고, 평소 SEO 활동을 계속하세요.
마크다운 미러가 정식(canonical) 페이지여야 할까요?
아닙니다. HTML 페이지를 정식 페이지로 유지하고, 그 URL을 미러의 프론트 매터에 넣으세요.
llms.txt는 어느 정도 길이여야 하나요?
한 번에 읽을 만큼 짧게 작성했습니다. 제품 및 문서를 먼저 다룹니다. 내용이 길어지는 것은 llms-full.txt에 넣습니다.
Baltej Singh은 로컬 코드베이스를 내레이션된 제품 데모 비디오로 변환하는 데스크톱 앱이자 CLI인 DemoVexa를 구축했습니다 (작동 방식). 그는 미국 델라웨어(Delaware, USA)에서 글을 쓰고 있습니다.