엔터프라이즈 영역에서의 AI 활용, 특히 「RAG」(검색 증강 생성 (Retrieval-Augmented Generation)) 시스템이나 「LLM」(대규모 언어 모델 (Large Language Model))의 사내 도입에 있어 가장 큰 병목 현상이 되는 것은 「PDF나 Office 문서로부터의 정확한 텍스트 추출」입니다. 많은 실무 문서들은 복잡한 레이아웃, 2단 구성, 표 (Table) 등을 포함하고 있어, 기존의 단순한 OCR이나 텍스트 추출 도구로는 문장의 구조나 컨텍스트 (Context)가 파괴되는 과제가 있었습니다.

문서의 레이아웃 구조가 무너진 상태로 LLM에 읽히게 되면, 할루시네이션 (Hallucination, 사실에 기반하지 않은 답변)의 원인이 됩니다. 이러한 데이터 전처리 과제를 극적으로 해결하는 오픈 소스 라이브러리가 IBM에 의해 개발된 「docling」입니다.

「docling」은 고도의 문서 이해 (Document Understanding)를 실현하기 위한 차세대 라이브러리입니다. PDF, DOCX, PPTX 등 다양한 포맷에 대응하며, 문서의 시각적 요소를 정확하게 해석합니다.

비즈니스에서의 가장 큰 도입 가치는 수작업에 의한 데이터 정형 비용의 절감입니다. AI를 단순한 독립된 소프트웨어로서 이용하는 것이 아니라, 조직 내의 다양한 비구조화 데이터를 유동화시키는 「에코시스템 (Ecosystem)」으로서 기능하게 하기 위해, docling에 의한 자동 구조화는 필수적인 기반이 됩니다.

여기에서는 Python 환경을 이용한 docling의 구체적인 도입 절차와 실무에서 즉시 사용할 수 있는 코드 예시를 제시합니다.

먼저, 표준적인 Python 환경에 「docling」을 설치합니다.

pip install docling

※ docling은 고도의 레이아웃 해석을 수행하기 위해 내부에서 딥러닝 모델 (Deep Learning Model, PyTorch 등)을 사용합니다. 최초 실행 시에는 모델의 자동 다운로드가 발생하므로 충분한 네트워크 대역폭을 확보해 주십시오.

PDF 파일을 읽어 들여 구조화된 「Markdown 형식」으로 텍스트를 추출하는 가장 심플한 구현 코드입니다.

from docling.document_converter import DocumentConverter
# 컨버터의 초기화
converter = DocumentConverter()
...

이 코드를 실행하는 것만으로 제목, 단락, 글머리 기호 리스트가 적절한 Markdown 태그와 함께 추출됩니다.

기존의 텍스트 추출 도구가 가장 어려워했던 「표 (Table)」도 docling은 구조를 유지한 채로 추출할 수 있습니다.

# 추출된 문서 내의 테이블 데이터를 개별적으로 출력
for table in result.document.tables:
# pandas의 DataFrame으로서 출력하여 데이터 분석이나 RAG에 최적화
...

실무에서의 개발·배포 단계에서 마주치기 쉬운 「걸림돌 (Stumbling Point)」과 그 대처법을 해설합니다.

Windows나 Linux의 일부 클린 환경 (Docker 컨테이너 등)에서는 그래픽 처리 라이브러리가 부족하기 때문에 임포트 (Import) 시에 에러가 발생할 수 있습니다.

에러 예시: ImportError: libGL.so.1: cannot open shared object file

대처법: Linux 환경 (Ubuntu/Debian 계열)에서는 다음 시스템 라이브러리를 사전에 설치해 주십시오.

sudo apt-get update && sudo apt-get install -y libgl1-mesa-glx libglib2.0-0

수백 페이지에 달하는 거대한 문서나 고해상도 이미지 PDF를 한꺼번에 처리하려고 하면, 메모리를 과도하게 소비하여 시스템이 다운될 수 있습니다.

대처법: 처리할 PDF의 페이지 수를 미리 제한하거나, 처리 시에 시스템 리소스 제한을 설정합니다. 실제 운용 파이프라인에서는 파일을 여러 개로 분할하여 배치 처리 (Batch Processing)를 수행하는 로직을 구현하는 것을 권장합니다.

docling의 도입 효과를 극대화하기 위해, 다음 단계에 따라 사내 시스템으로의 통합을 추진하십시오.

• 어세스먼트 (Assessment): 사내에 산재해 있는 매뉴얼, 규정집, 결산서 등의 문서 포맷을 정리한다.
• 파이프라인 구축 (Pipeline Construction): docling을 이용한 자동 변환 처리를 AWS Lambda나 배치 서버 (Batch Server)에 통합하여, 정기적으로 Markdown화하는 체계를 구축한다.
• 지식 베이스 구축 (Knowledge Base Construction): 구조화된 Markdown 데이터를 청크 (Chunk) 단위로 분할하여 벡터 데이터베이스 (Vector Database)에 등록한다. 이를 통해 사내 정보를 즉시 검색 가능한 '초고성능 RAG (Retrieval-Augmented Generation)'를 실현한다.

문서의 '정확한 데이터화'야말로, 앞으로의 AI 투자 성패를 가르는 매우 중요한 인프라 (Infrastructure) 투자가 될 것입니다.