동등한 CER, 불균등한 손상: OCR을 위한 심각도 가중치 문자 오류율 (Severity-Weighted Character Error

문자 오류율(Character Error Rate, CER)은 OCR 및 비전-언어 모델(VLM)의 표준 지표로, 오타와 잘못된 이름에 동일한 비용을 부과합니다. 우리는 semCER를 소개하는데, 이는 CER의 정렬 방식과 분모를 유지하면서 단어 분할 없이 각 그래프미 단위 편집에 LLM 심사관이 부여하는 심각도를 부과합니다. 정규화된 CER(Normalized CER)은 전체 전사본의 점수를 유지하며, 독자들은 semCER뿐만 아니라 이보다 더 나은 방식으로 추적하고, semCER는 그 점수를 개별 이름 편집으로 세분화합니다. 이 비용 계산 방식은 영어, 베트남어, 중국어에서 편집 단위로 독자의 평가를 추적하며, 독자들이 가장 심각하다고 평가한 편집을 정렬된 목록의 상단에 배치합니다. CER과 semCER가 불일치하는 쌍들 사이에서, 독자들은 영어와 중국어에서는 normalized CER보다 semCER 쪽에 더 자주 기울었으며, 베트남어에서는 동일하게 자주 기울였습니다. 16개 언어에 걸쳐, 심사관은 스페인어의 잘못된 악센트나 성조 표식에는 거의 아무런 비용을 부과하지만, 텔루구어의 잘못된 글자에는 거의 글자 하나만큼의 심각도를 부과합니다. 실제 단어를 셀 수 있는 경우, 일반적인 VLM의 잘못된 글자는 우연보다 훨씬 높은 수준을 형성하는 반면, 고전 파이프라인은 그 근처에 머무릅니다. 우리는 6천1백만 개의 심사된 편집 내용, 집계된 독자 평가, 그리고 증류된 점수 계산기를 https://github.com/nguyenx2t/semcer에서 공개합니다.