요약 — 우리는 ja-punct-restore-v1이라는 작은 모델을 출시했습니다. 이 모델은 구두점이 없는 일본어 텍스트로 、。?!를 복원하며, 문자당 하나의 예측을 수행합니다. 실제 ASR 벤치마크(Whisper가 전사하고 구두점을 제거한 650개의 FLEURS 일본어 발화)에서 이 모델은 구두점 F1 점수 0.8881을 기록했으며, 이는 Whisper 자체의 구두점이 포함된 출력물인 0.6062와 비교됩니다. 봉쇄된 홀드아웃 테스트에서는 F1 0.8156을 기록합니다. ONNX가 포함되어 있으며, 데스크톱 CPU에서 발화당 약 16ms가 소요되며, Apache 2.0 라이선스입니다.
- 후처리(Post-processing)가 ASR이 제대로 인식하기를 기대하는 것보다 우수하다. 일본어에 대한 Whisper 자체의 구두점 표기는 일관성이 없습니다. 한 번 읽는 자막에는 괜찮지만, 검색하거나 요약하거나 LLM(거대 언어 모델)에 입력해야 하는 스크립트에는 문제가 됩니다. 일반 텍스트 스크립트에 전용 복원 단계를 적용한 것이 동일 오디오에서 인식기 내장 구두점보다 훨씬 더 나은 성능을 측정했습니다.
- 단순히 깨끗한 텍스트가 아닌 실제 ASR 출력물로 측정: FLEURS 일본어 테스트 세트를 Whisper large-v3-turbo로 전사하고, 구두점을 제거한 후 이 모델이 복원했을 때 — F1 0.8881 (정밀도(precision) 0.8537, 재현율(recall) 0.9255)을 기록했습니다. 이는 Whisper의 구두점이 포함된 출력물인 0.6062와 비교됩니다. 마침표는 거의 해결되었으며 (F1 0.9806), 쉼표가 남아있는 오류의 대부분을 차지합니다 (0.8268).
- 솔직한 약점: 느낌표입니다. !은 봉쇄된 테스트에서 F1 0.4884를 기록했으며, 재현율은 0.3920으로 모델이 보수적이고 과소 예측하는 경향을 보입니다. 그리고 실제 ASR 벤치마크에서는 ?와 !가 참조 자료에 거의 나타나지 않기 때문에, 이들의 실제 세계 ASR 성능은 사실상 평가되지 않았습니다. 자세한 내용은 아래를 참고하십시오.
문제점
일본어 ASR 출력물은 종종 구두점이 없는 텍스트의 벽처럼 도착하거나, 문장 구조가 아닌 인식기의 추측에 따른 구두점을 포함하고 있습니다. 모든 하위 단계(downstream)에서 문제가 발생합니다: 가독성, 자막 분할, 요약용 문장 분리, 그리고 문장을 기대하는 모든 NLP 파이프라인이 해당됩니다.
구두점 복원(Punctuation restoration)은 작고 경계가 명확한 작업입니다. 주어진 문자열을 가지고 어디에 、。?!를 넣을지 결정하는 것입니다. 이는 모든 ASR 시스템 이후의 후처리 단계로, 작은 인코더(encoder)가 CPU에서 수행할 수 있는 전용 목적의 작업과 정확히 일치합니다.
모델 (The model)
- ja-punct-restore-v1 — 문자 기반 토큰 분류(token classification): 각 문자에 대해 '없음(none)' 또는 、 / 。 / ? / ! 중 하나를 예측합니다.
- 기본 모델 (Base model): sbintuitions/modernbert-ja-130m
- Apache 2.0 라이선스이며, ONNX (fp32)가 포함되어 있습니다. 개발 데이터로 조정된 클래스 편향(class-bias) 조정은 분류 헤드(classification head)에 내장되어 있어 추론(inference) 시 추가적인 보정 단계가 필요하지 않습니다.
- 속도: Core i7-11700F에서 ONNX를 사용했을 때, 실제 ASR 스크립트 200개를 기준으로 발화당 평균 16.3ms가 소요되어 모든 스크립트에 실행하기에 충분히 저렴합니다.
- 학습 데이터에는 실제 개인 정보가 포함되어 있지 않습니다. FineWeb-2의 일본어 서브셋(Japanese subset)에서 가져온 연결된 창(concatenated windows)과 구어체 스타일을 커버하기 위한 15,000개의 합성 문장으로 구성되었습니다.
사용 방법 (Use it)
from transformers import AutoModelForTokenClassification, AutoTokenizer
import torch
...
측정 결과 (Measured results)
폐쇄 테스트(Sealed test) (5,003개의 분리된 창(held-out windows), 학습이나 튜닝에 사용되지 않음):
- 마이크로-F1(Micro-F1) (구두점만): 0.8156 (정밀도(precision) 0.8154, 재현율(recall) 0.8157), MCC 0.8284
- 심볼별 F1(Per-symbol F1): 、 0.7591 / 。 0.9188 / ? 0.7300 / ! 0.4884
실제 ASR 벤치마크 (FLEURS Japanese, 650 발화, 구두점이 제거된 Whisper large-v3-turbo 스크립트, 이 모델로 복원 후 참조 값과 비교):
- 본 모델(This model): F1 0.8881 (정밀도(precision) 0.8537, 재현율(recall) 0.9255)
- Whisper 자체 구두점 포함 출력물 (변경 없음): F1 0.6062
- 심볼별 F1(Per-symbol F1) (본 모델): 、 0.8268 / 。 0.9806
참고 사항: 폐쇄 테스트는 필기체 스타일의 텍스트인 반면, ASR 벤치마크는 읽은 말(read speech)입니다. 두 수치는 서로 다른 분포를 측정하므로 모두 기재했습니다.
작동하지 않은 부분 / 한계점 (Limitations)
- 느낌표는 취약합니다(Exclamation marks are weak). 밀봉된 테스트에서 F1 점수 0.4884와 재현율(recall) 0.3920을 기록했습니다. 이 모델은 느낌표를 과도하게 생성하기보다는 부족하게 생성하는 경향이 있습니다(! 대신 !). 만약 전사된 내용이 생동감 있는 구어체 콘텐츠라면, 거짓으로 추가되는 것(spurious ones)보다 빠진 것이 더 많을 것으로 예상해야 합니다.
- 물음표(?)와 느낌표(!)는 실제 ASR 출력에서 평가되지 않았습니다. FLEURS 참조 자료에는 거의 사례가 없습니다(? : 0, ! : 1). 따라서 헤드라인의 0.8881 점수는 야생 환경에서의 이 두 기호에 대해서는 아무것도 말해주지 않습니다. 유일한 측정값은 위 밀봉된 테스트입니다.
- 학습 데이터는 문어체 텍스트가 지배적입니다. 합성된 구어체 문장이 격차를 메우지만, 어설픈 자발적 발화(false starts, fragments, overlapping repairs)와 같은 혼란스러운 자발적 발화는 여기서 어느 벤치마크보다 낮은 점수를 받을 수 있습니다.
- 오직 구두점만 복원합니다. 오타 수정, 재작성, 문장 순서 변경은 없습니다. ASR에서 발생한 인식 오류는 그대로 통과됩니다.
이것은 브라우저에서 실행되는 PII(개인 식별 정보) 탐지기, 프롬프트 주입 방어기, 그리고 이제 ASR 출력을 위한 구두점 복원 기능을 포함하는 저희의 일련의 작고 단일 목적 일본어 모델 중 세 번째입니다. 매번 동일한 규칙을 따릅니다: 무료이며, ONNX가 포함되어 있고, 밀봉되거나 공개된 테스트 세트에서 측정되며, 실패 사례는 카드에 인쇄됩니다. 시리즈의 코드는 하나의 저장소(아래 링크)에 있습니다.
오늘날 ASR 전사본을 후처리한다면, 파이프라인에서 구두점은 어디서 오나요—인식기(recognizer), 규칙 통과(rules pass), 아니면 이와 같은 모델인가요?