가장 지저분한 실제 문서 세 가지를 1.3B OCR 모델로 돌려봤습니다. 그 결과는 왜 어떤 OCR 출력물도 무조건 신뢰해서는 안 되는지

저는 제가 찾을 수 있는 가장 지저분한 실제 문서 세 가지를 1.3B OCR 모델을 통해 처리해 보았습니다. 이 결과들은 여러분이 어떠한 OCR 출력물도 맹목적으로 신뢰해서는 안 되는 이유입니다.

글레어와 접힘 자국이 있는 기울어진 손익계산서 사진: 45개 중 43개의 숫자가 정확했습니다.
1990년의 실제 필기체 편지: 41개 단어 중 38개가 인식되었습니다.
수기로 수정된 부분, 스탬프, 서명이 포함된 구매 주문서(PO): 12개 항목 중 11개가 처리되었습니다.

이것이 무서운 부분이 아닙니다. 진짜 무서운 부분은 오인식한 값들이 정확하게 성공한 값들만큼이나 깨끗하고 자신감 넘쳐 보였다는 점입니다. (2,501.7)이라는 금액이 조용히 (2,901.7)로 바뀌었습니다. 손으로 쓴 '65'라는 숫자는 그저 사라졌습니다. 포맷도 같고, 확신도 같습니다. 이것을 스프레드시트에 입력하면, 합계가 맞지 않는 이유를 누군가 물어보기 전까지는 어떤 숫자가 잘못되었는지 알 수 없을 것입니다.

이것이 문서 AI의 진짜 문제입니다. 정확도가 아닙니다. 신뢰도(Confidence)입니다.

여기서 파서를 담당하는 것이 @OpenBMB의 MiniCPM-OCR 1.0입니다. 이 모델은 크기가 작아 로컬에서 실행할 수 있으면서도, 해당 PO에 있는 필기체 날짜, APPROVED 스탬프, 그리고 서명까지 읽어낼 수 있습니다. 이 정도 크기의 모델치고는 정말 대단합니다.

하지만 제가 기대하는 부분은 MiniCPM-OCR Jev입니다. 이것은 어떤 것도 파싱(parse)하지 않고 오류를 수정하지 않습니다. 대신, 서로 다른 OCR 파서들이 생성한 후보들을 해당 이미지 영역과 비교하여 평가함으로써, 사람이 검토해야 할 부분을 우선순위화하는 데 도움을 줍니다.

이 세 페이지에서 이 모델은 16개의 블록에 대해 점수를 매겼습니다. 실제 오류가 있는 4개 블록 모두 검토를 위해 플래그 지정되었습니다. 자동으로 승인된 8개 블록은 모두 정확했습니다. 필기체 부분에서는 신중하게 접근했으며, 실제로 괜찮았던 몇몇 수기로 작성된 블록도 플래그 지정했지만, 저는 그 정도의 트레이드오프(trade-off)를 감수할 의향이 있습니다.

OpenBMB는 2B Jev 모델에 대해 JevOCRBench에서 AUROC가 0.936임을 보고했으며, 이는 Qwen3.5-397B-A17B의 0.938과 비교한 수치입니다. 이것은 그들의 벤치마크일 뿐, 저의 것은 아닙니다. 제 결과는 영상에 담겨 있습니다.

작고 별도의 평가자(evaluator)가 OCR 파서가 어디에서 실수를 했을지 식별하는 데 도움을 줄 수 있습니다. 수동 검토 대기열은 곧 훨씬 짧아질 것입니다.

여러분도 직접 Git으로 시도해 보세요. 링크는 첫 번째 댓글에 있습니다.