FormalASR: 종단간(End-to-End) 구어체 중국어의 문어체 텍스트 변환

요약

FormalASR은 구어체 중국어를 격식 있는 문어체 텍스트로 직접 변환하는 종단간(End-to-End) 음성 인식 모델입니다. 기존의 ASR과 LLM을 결합한 2단계 방식 대신 0.6B 및 1.7B 규모의 컴팩트한 모델을 사용하여 지연 시간과 메모리 비용을 줄였습니다. 이를 통해 온디바이스 환경에서도 효율적인 구어체-문어체 전사 솔루션을 제공합니다.

핵심 포인트

• 기존 ASR의 비유창성 및 비격식적 구조 문제를 해결하기 위해 종단간 모델 방식 채택
• LLM 기반 재작성 및 품질 필터링을 통해 구축된 WenetSpeech-Formal 및 Speechio-Formal 데이터셋 활용
• Qwen3-ASR을 지도 미세 조정(SFT)하여 0.6B 및 1.7B 규모의 모델 개발
• 베이스라인 대비 최대 37.4%의 CER(Character Error Rate) 감소 및 ROUGE-L, BERTScore 향상 달성
• 사후 처리용 LLM이 필요 없어 경량화된 온디바이스 배포에 최적화