OCR 모델이 속이는 문제: 문서 AI에서 중요한 것은 정확도가 아닌 신뢰도입니다

당신의 OCR 모델은 당신에게 거짓말을 하고 있으며, 어떤 페이지가 진짜인지 전혀 알지 못합니다.

이것이 바로 문서 AI의 실제 문제입니다. 정확도가 아닙니다. 신뢰도(Confidence)입니다.

모든 파서(parser)는 인보이스를 완벽하게 처리했든, 표의 절반을 환각(hallucinated)으로 만들어냈든 상관없이 깔끔해 보이는 텍스트를 출력합니다. 포맷팅은 동일하고, 확신도(certainty) 또한 같습니다. 문제가 되는 숫자가 데이터베이스에 입력되어 하위 단계에서 '왜 합계가 맞지 않나요?'라는 질문을 받는 순간에야 비로소 알게 됩니다.

그래서 팀들은 유일하게 안전한 방법을 택합니다. 바로 사람이 모든 것을 확인하는 것입니다. 이는 자동화의 핵심 목적 자체를 무너뜨립니다.
@OpenBMB가 제가 오랫동안 원했던 해결책을 출시했습니다.

MiniCPM-OCR Jev는 문서를 파싱(parse)하지 않습니다. 대신, 서로 다른 OCR 파서들로부터 나온 후보군들을 해당 이미지 영역과 비교 평가하여 어떤 블록이 불안정한지 플래그를 지정합니다. 따라서 사람은 실제로 검토가 필요한 부분만 확인하면 됩니다.

그리고 크기가 작습니다. 2B 파라미터입니다. OpenBMB는 JevOCRBench에서 AUROC(Area Under the Receiver Operating Characteristic Curve) 0.936을 보고했는데, 이는 Qwen3.5-397B-A17B의 0.938과 비교됩니다.

2B 크기의 평가기가 JevOCRBench에서 총 파라미터가 약 200배나 많은 모델에 근접한 AUROC를 달성했다는 점을 생각해 보십시오. 이 사실을 깊이 새겨야 합니다.

여기에 함께 제공되는 파서인 MiniCPM-OCR 1.0은 1.3B 크기이며, Real5-OmniDocBench에서 SOTA(State-of-the-Art)를 기록했습니다.

로컬 환경에서도 실행할 만큼 작습니다.

이것들이 그들의 수치입니다. 저는 이번 주에 제가 찾을 수 있는 가장 지저분한 실제 문서들—구겨진 영수증, 스캔된 표, 화이트보드 사진 등—모두를 이 두 모델에 테스트해 볼 예정입니다.

수동 검토 대기열은 곧 훨씬 짧아질 것입니다.