Baidu가 40페이지 분량의 문서 전체를 한 번에 읽을 수 있는 OCR 모델을 방금 오픈소스(open-source)로 공개했습니다.

이 모델의 이름은 Unlimited-OCR입니다. 30억 개의 파라미터(parameters)를 가지고 있지만, 추론(inference) 중에는 5억 개만 활성화됩니다. 사용자의 기기에서 100% 로컬(locally)로 실행됩니다.

이것이 중요한 이유: 기존의 OCR 도구들은 문서를 페이지 단위로 잘라서 처리합니다. 두 페이지에 걸쳐 있는 표(tables)는 깨지게 됩니다. 읽기 순서(reading order)가 유실됩니다. 페이지 간의 문맥(cross-page context)이 사라집니다.

Unlimited-OCR은 문서 전체를 한 번에 처리합니다. 32K 컨텍스트 윈도우(context window)를 지원합니다. 텍스트, 공식(formulas), 표, 읽기 순서가 페이지 전반에 걸쳐 모두 보존됩니다.

출력은 깔끔한 구조화된 마크다운(Markdown) 형식으로 제공됩니다.

→ 표준 벤치마크(benchmark)에서 93%의 정확도를 기록했습니다. 베이스라인(baseline) 대비 6포인트 상승했습니다.
→ 40페이지가 넘어가도 오류율(error rate)이 0.11 미만으로 유지됩니다.
→ 별도의 설정 없이 다국어(multilingual)를 지원합니다.
→ 지난달 Hugging Face에서 212만 회 다운로드되었습니다. GitHub 스타(stars)는 14,600개를 기록했습니다.

참고로: Amazon Textract, Google Cloud Vision, Azure Document Intelligence는 모두 페이지당 비용을 부과합니다. 이 모델은 로컬에서 무료로 실행됩니다.