저는 MMLongBench-Doc (https://github.com/mayubo2333/MMLongBench-Doc)에서 가져온, 이미지가 많은 30개의 긴 PDF를 대상으로 시각 기능이 있는 LLM(Vision-capable LLMs, "그냥 PDF를 첨부하고 모델이 읽게 하는" 방식)과 OCR 기반 파이프라인을 벤치마킹했습니다. Claude Sonnet 4.5를 LLM으로 사용하여 총 171개의 질문을 테스트했습니다.

재시도 후 결과:

Native PDF 방식은 정확도 면에서 6개 중 5위를 기록했으며, 쿼리당 $0.2552로 가장 비용이 많이 드는 방식이었습니다.

두 가지 발견 사항:

1. 시각 기능(Vision)은 차트와 표가 많은 페이지에서 성능이 저하되었는데, 이는 "시각 LLM이 OCR을 구식으로 만든다"라는 주장이 가장 자주 언급되는 영역입니다. 레이아웃 추출(Layout extraction) 기능이 포함된 프리미엄 OCR이 해당 영역에서 더 잘 버텼습니다.

2. Native-PDF 방식은 재시도를 거친 후에도 (PDF 파일 크기와 관련된) 7%의 고유 실패율(intrinsic failure rate)을 보였습니다. 총 27건의 1차 통과 실패가 있었으며, 실패한 쿼리당 지수 백오프(exponential backoff)를 5회 시도했습니다. 그중 15건은 복구되었으나, 12건은 영구적으로 실패 상태로 남았습니다. 이들은 예측 가능한 전송 계층(transport-layer) 문제로 인해 실패하는 특정 두 PDF에 집중되어 있었습니다(블로그에서 이를 식별함). OCR 기반 방식은 재시도 후 고유 실패율이 0%였습니다.

주의 사항: 30개의 문서는 적은 표본입니다. 저는 어떤 격차가 실제이고 어떤 것이 노이즈 범위 내에 있는지 결정하기 위해 McNemar의 쌍체 검정(McNemar's pairwise test)을 실행했습니다. 15개의 일대일 격차 중 $\alpha = 0.05$에서 통계적으로 구별 가능한 것은 3개뿐이므로, 표의 순서는 부분적으로 노이즈일 수 있습니다. 다만, 시각 기능 대 OCR에 대한 발견 사항은 검정을 통과했습니다.

전체 보고서: https://www.surfsense.com/blog/agentic-rag-vs-long-context-llms-benchmark