☕️ PDF 하나 올렸다고 생각했는데, AI 입장에서는 사실 두 개를 받는 거임.😱

요약

AI에게 PDF를 입력할 때 단순 텍스트 추출과 비전 분석은 토큰 사용량에 큰 차이가 있습니다. 따라서 RAG나 지식베이스 구축 시에는 원본 PDF를 그대로 사용하는 것보다 전처리 과정이 필수적입니다. 오픈소스 도구 MinerU를 활용하여 문서를 Markdown으로 구조화하는 것이 효율적입니다.

핵심 포인트

• PDF는 텍스트와 페이지별 스크린샷(비전) 두 가지 데이터를 포함합니다.
• RAG나 검색용으로는 원본 PDF 사용이 토큰을 비효율적으로 소모할 수 있습니다.
• `MinerU` 같은 도구로 문서를 Markdown으로 구조화하는 것이 권장됩니다.
• LaTeX와 HTML 지원으로 복잡한 수식 및 표도 보존 가능합니다.