실제 문서 처리를 위한 LMM 벤치마킹: CC-OCR V2

요약

본 기사는 대규모 다중 모달 모델(LMMs)의 실제 문서 처리 능력을 검증하기 위해 개발된 새로운 종합 OCR 벤치마크, CC-OCR V2를 소개합니다. 기존 벤치마크가 실제 응용 환경을 반영하지 못하는 한계를 지적하며, CC-OCR V2는 문자 인식, 문서 파싱, 핵심 정보 추출 등 실무 중심의 5가지 트랙과 7,093개의 고난도 샘플로 구성되었습니다. 광범위한 실험 결과, 최신 LMM들조차 실제 기업 환경의 복잡하고 다양한 요구 사항을 충족하는 데 상당한 성능 저하를 보인다는 점을 밝혀냈습니다.

핵심 포인트

• LMMs가 OCR 분야에서 강력하지만, 기존 벤치마크는 실제 응용 환경을 반영하지 못하는 한계가 있다.
• CC-OCR V2는 실질적인 기업 문서 처리에 초점을 맞춘 종합적이고 도전적인 새로운 OCR 벤치마크이다.
• 이 벤치마크는 문자 인식, 문서 파싱, 핵심 정보 추출 등 5가지 주요 실무 트랙을 포함한다.
• 실험 결과, 최첨단 LMM들도 실제 복잡한 시나리오에서 성능 저하를 보이며, 현재의 벤치마크와 실제 응용 간에 큰 격차가 존재함을 입증했다.