모든 웹사이트를 RAG용 깨끗한 Markdown 청크로 변환하는 방법

요약

RAG 품질 문제는 임베딩 모델 이전에 원시 HTML에 포함된 상투적 내용물 때문에 발생합니다. 본 글은 페이지를 주요 콘텐츠만 담긴 깨끗한 마크다운으로 변환하는 1단계와, 이를 제목별로 구조화하여 청킹하는 2단계를 제시합니다. 이는 검색 정확도를 높이고 출처 인용을 가능하게 하는 개발 가이드입니다.

핵심 포인트

• RAG 품질 문제는 임베딩 모델 이전에 발생하는 데이터 전처리 단계에서 해결해야 합니다.
• 페이지의 `<article>` 또는 `<main>` 요소를 활용하여 탐색 메뉴, 푸터 등 상투적 내용을 제거하세요.
• 일반 텍스트 대신 마크다운으로 변환하여 제목, 목록 등의 구조적 의미를 유지하는 것이 중요합니다.
• 청킹은 제목(Heading)을 기준으로 수행하고, 출처 URL 및 제목 경로 같은 메타데이터를 반드시 포함해야 합니다.