llms.txt 다음에 오는 "URL.md 패턴" — AI에 읽히는 제2의 웹 만들기

요약

현재 웹 페이지의 구조(HTML)는 인간 사용자 경험에 최적화되어 있어, ChatGPT와 같은 LLM 기반 AI 모델에게는 불필요한 네비게이션 요소나 헤더/푸터 등 '노이즈'로 작용하여 핵심 콘텐츠를 파악하는 데 방해가 됩니다. 이 글은 AI가 웹 페이지의 본문(main content)에 집중할 수 있도록, 기존의 HTML 구조와 분리된 새로운 형태의 콘텐츠 포맷('URL.md 패턴')을 제안합니다.

핵심 포인트

• 기존 웹페이지의 HTML 구조는 인간 중심적이며, AI가 읽기에 비효율적인 노이즈(네비게이션, 헤더, 푸터)를 포함하고 있다.
• LLM 기반 AI 모델은 페이지의 본문 내용보다 주변 컨텍스트에 먼저 집중하여 핵심 정보 파악에 어려움을 겪는다.
• AI 친화적인 웹 콘텐츠 전달을 위해 'URL.md 패턴'과 같은 새로운 마크다운 기반 포맷이 필요하다.
• 콘텐츠를 AI가 읽기 쉬운 형태로 구조화함으로써, 검색 엔진 최적화(SEO)와 AI 활용도를 동시에 높일 수 있다.