llms.txt 파일 작성 방법 (복사-붙여넣기 템플릿 포함)
AI 어시스턴트와 대규모 언어 모델(LLMs)이 웹사이트를 정확하게 이해하기를 원한다면, 짧고 선별된 지도를 제공할 수 있습니다. 이 지도가 바로 llms.txt 파일입니다. 본 가이드에서는 이것이 무엇인지, 어디에 위치해야 하는지, 어떻게 형식화하는지, 그리고 의존하기 전에 어떻게 테스트하는지를 설명합니다.
llms.txt란 무엇인가요
llms.txt는 2024년 Jeremy Howard가 도입하고 llmstxt.org에 문서화한 제안 표준입니다. 이 파일은 언어 모델에게 웹사이트를 요약하는 일반 Markdown 파일을 제공합니다: 웹사이트가 무엇인지, 무엇을 제공하는지, 그리고 어떤 페이지가 가장 중요한지를 설명합니다.
이것은 아마 이미 가지고 있을 두 개의 파일과 함께 작동합니다. robots.txt는 크롤러에게 접근할 수 있는 내용을 알려줍니다. sitemap.xml은 모든 URL 목록을 나열합니다. llms.txt는 다른 일을 합니다: 제한된 컨텍스트 창 내에서 모델이 읽을 수 있는 형식으로 가장 중요한 콘텐츠를 선택하고 설명합니다.
채택에 대해 현실적으로 생각하세요. 이 표준은 여전히 비공식적이며, 모든 AI 회사들이 llms.txt를 읽는다고 확인한 것은 아닙니다. 이것을 보장된 순위 결정 요소(ranking lever)로 취급하기보다는, 사용하는 도구들을 돕는 저비용 문서로 간주하십시오.
어디에 위치해야 하나요
이 파일은 도메인의 루트에 있어야 합니다:
https://example.com/llms.txt
이를 일반 텍스트 또는 Markdown 형식으로 200 상태 코드로 제공해야 합니다. 로그인 페이지로 리디렉션되거나 JavaScript에 의존하여 렌더링되어서는 안 됩니다. 만약 docs.example.com과 같은 서브도메인을 가지고 있고 이를 포함하고 싶다면, 각 서브도메인에 별도의 llms.txt를 게시해야 합니다.
형식
구조는 의도적으로 간단합니다. 다음 부분들을 이 순서대로 포함하세요:
- H1 제목. 프로젝트 또는 사이트의 이름입니다. 이것이 유일하게 필수 요소입니다.
- 블록 인용구 요약. 해당 사이트가 무엇인지 설명하는 한두 문장입니다.
- 선택적 단락. 누가 이 사이트를 위해 있는지, 또는 무엇이 범위를 벗어나는지 등 일반 산문 형태의 추가 컨텍스트를 제공합니다.
- H2 섹션. 링크 그룹이며, 각 항목은 마크다운 목록 형식으로 작성됩니다:
- [링크 제목](URL): 짧은 메모.
- 선택적 섹션. 컨텍스트가 부족할 때 모델이 건너뛸 수 있는 링크입니다.
절대 URL을 사용하고 직접 로드되는 깔끔하고 공개적인 페이지를 가리켜야 합니다.
전체 복사-붙여넣기 템플릿
플레이스홀더를 대체하고 필요하지 않은 섹션은 삭제하세요:
# Example Co
> Example Co는 프리랜서를 위한 인보이싱 소프트웨어를 만듭니다. 이 제품은 미국과 영국을 위한 견적서, 반복 청구 및 세금 수출 기능을 포함합니다.
...
흔한 실수들
- 파일을 잘못된 위치에 두는 것.
/docs/llms.txt는 루트가 아닙니다. 크롤러는 /llms.txt를 찾습니다.
- 사망했거나 리디렉션되는 링크. 모든 URL은 200을 반환해야 합니다. 404로 가득 찬 목록은 유지보수되지 않는 파일을 의미합니다.
- 모든 것을 나열하는 것. 300개의 URL을 붙여넣는 것은 목적에 위배됩니다. 가장 흔한 질문에 답하는 10개에서 30개 페이지를 선택하세요.
- 모호한 설명.
- 상태 및 리디렉션 확인.
curl -I https://example.com/llms.txt를 실행하여 200 응답이 오고 리디렉션 체인이 없는지 확인합니다.
- 콘텐츠 타입 확인. 콘텐츠 타입은
text/plain 또는 text/markdown이어야 하며, text/html이 아니어야 합니다.
- 외부인의 시각으로 읽기. 파일을 열어 사이트를 한 번도 본 적 없는 사람이 처음 20줄만 보고서 이 파일이 무엇을 제공하는지 알 수 있는지 확인합니다.
- 모든 링크 확인. 파일에서 URL을 추출하여 각각
curl로 요청하고, 200 코드가 아닌 것은 모두 플래그를 지정합니다.
- 구조 확인. 첫 줄은 단일 H1이어야 하고, 그 뒤에 블록쿼트(blockquote)가 오고, 이어서 목록 항목을 포함하는 H2 섹션이 와야 합니다.
- robots.txt 확인. 링크된 페이지들이 도달하고자 하는 AI 사용자 에이전트에 의해 허용되지 않은지(
disallowed) 확인합니다.
파일에 변경 사항이 있는 배포가 있을 때마다 이 검사들을 반복해야 합니다.
요약
좋은 llms.txt는 간결하고, 정확하며, 유지 관리되어야 합니다. 10개의 강력한 링크, 사실적인 요약, 그리고 깨끗한 루트 URL로 시작하여 문서가 성장함에 따라 확장해 나가세요.
사이트의 AI 크롤러 설정을 무료로 확인할 수 있습니다: [https://citescore.vercel.app/free-check]