Python으로 PDF를 Markdown으로 변환하여 RAG에 적합한 파이프라인 구축하기

원문 발행 2026. 10. 21. 01:53원문 언어 영어AI 한국어 번역Dev.to AI tag 원문 보기

요약

본 가이드는 Python을 사용하여 PDF 문서를 Markdown으로 변환하고, RAG에 최적화된 청크(chunk)를 추출하는 방법을 안내합니다. 특히 페이지 번호와 섹션 제목 정보를 유지하여 시맨틱 검색의 정확도를 높이는 파이프라인 구축 과정을 다룹니다.

핵심 포인트

AnyToMarkdown API를 활용해 PDF를 Markdown으로 변환하고 RAG용 청크를 얻을 수 있습니다.
청크에 `headings`와 `pageStart`/`pageEnd` 정보를 유지하여 출처 인용(citation)이 가능합니다.
OpenAI의 임베딩 모델(`text-embedding-3-small`)을 사용하여 벡터 검색을 수행하는 과정을 보여줍니다.

대규모 언어 모델(LLM)은 원본 PDF 텍스트보다 Markdown을 훨씬 더 잘 읽습니다. 이 가이드에서는 AnyToMarkdown API를 사용하여 PDF를 깔끔한 Markdown으로 변환하고, 페이지 번호가 포함된 **RAG에 적합한 청크(chunks)**를 얻은 다음, 이를 임베딩하여 시맨틱 검색(semantic search)을 수행하는 방법을 안내합니다.

필요한 것들

Python 3.9 이상 및 pip install requests openai numpy 설치
임베딩 단계에 사용할 OPENAI_API_KEY

1. PDF 변환 및 청크 얻기

import requests

HOST = "anytomarkdown-pdf-to-markdown-and-document-parser-api.p.rapidapi.com"
...

includeContent=false를 사용하면 전체 Markdown은 건너뛰고 청크만 얻을 수 있습니다. 각 청크는 다음과 같은 형태를 가집니다:

{ "index": 1, "content": "...", "tokens": 392, "headings": ["Employee Handbook", "2. Benefits"], "pageStart": 2, "pageEnd": 2 }

청크는 문서의 섹션을 따라가며 생성됩니다. 즉, 테이블 중간에서 시작하는 경우는 없으며, 각 청크는 자신의 제목 경로(heading path)를 가지고 있어 휴가일에 관한 청크라도 여전히 _Benefits_에 속한다고 표시합니다.

2. 청크 임베딩하기

from openai import OpenAI
import numpy as np

...

headings와 pageStart를 각 벡터 옆에 유지하세요. 이 정보들은 답변이 특정 섹션과 페이지를 인용할 수 있게 해줍니다.

3. 검색하기

def search(question, top=3):
    q = np.array(client.embeddings.create(model="text-embedding-3-small", input=question).data[0].embedding)
    scores = vectors @ q / (np.linalg.norm(vectors, axis=1) * np.linalg.norm(q))
...

팁

스캔된 PDF인가요? ocr을 auto로 두거나, ocr=force로 강제 지정하세요.
특정 페이지만 필요한가요? pages=1-10을 추가하세요.
무료 플랜은 요청당 10MB와 50페이지를 허용하며, 상위 플랜에서는 제한이 높아집니다.
Markdown을 먼저 보고 싶으신가요? 무료 PDF to Markdown converter를 사용해 보세요.

AI 자동 생성 콘텐츠

본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기

1. PDF 변환 및 청크 얻기

import requests

HOST = "anytomarkdown-pdf-to-markdown-and-document-parser-api.p.rapidapi.com"
...

includeContent=false를 사용하면 전체 Markdown은 건너뛰고 청크만 얻을 수 있습니다. 각 청크는 다음과 같은 형태를 가집니다:

{ "index": 1, "content": "...", "tokens": 392, "headings": ["Employee Handbook", "2. Benefits"], "pageStart": 2, "pageEnd": 2 }

def search(question, top=3): q = np.array(client.embeddings.create(model="text-embedding-3-small", input=question).data[0].embedding) scores = vectors @ q / (np.linalg.norm(vectors, axis=1) * np.linalg.norm(q)) ...

팁

스캔된 PDF인가요? ocr을 auto로 두거나, ocr=force로 강제 지정하세요.

특정 페이지만 필요한가요? pages=1-10을 추가하세요.

무료 플랜은 요청당 10MB와 50페이지를 허용하며, 상위 플랜에서는 제한이 높아집니다.

Markdown을 먼저 보고 싶으신가요? 무료 PDF to Markdown converter를 사용해 보세요.

Python으로 PDF를 Markdown으로 변환하여 RAG에 적합한 파이프라인 구축하기

요약

핵심 포인트

필요한 것들

1. PDF 변환 및 청크 얻기

2. 청크 임베딩하기

3. 검색하기

팁

댓글

필요한 것들

1. PDF 변환 및 청크 얻기

2. 청크 임베딩하기

3. 검색하기

팁