Mind the Pause: LLM을 이용한 다국어 음성 교정을 위한 비유창성 인지 목적 함수 튜닝

요약

본 논문은 ASR 전사 데이터에 포함된 비유창성(fillers, repetitions 등)을 효과적으로 제거하기 위해 LLM의 지시어 미세 조정과 대조 학습을 결합한 다국어 교정 파이프라인을 제안합니다. 기존의 단순 탐지 방식이 문법적 일관성을 해치는 문제를 해결하기 위해, 시퀀스 태거의 신호를 활용하여 텍스트를 유창하게 재작성하며 비유창한 토큰의 재현에 페널티를 부여합니다. 인도 3개 언어 실험을 통해 기존 베이스라인 대비 우수한 성능과 문법적/의미적 보존 능력을 입증했습니다.

핵심 포인트

• 비유창성 탐지를 넘어 LLM의 지시어 미세 조정을 통한 텍스트 재작성(Rewriting) 방식 제안
• 비유창한 토큰의 재현을 방지하기 위해 대조 학습(Contrastive Learning) 목적 함수 도입
• 시퀀스 태거를 활용하여 토큰 수준의 단서를 LLM 교정 과정에 통합
• 힌디어, 벵골어, 마라티어 등 다국어 환경에서 기존 모델 대비 성능 개선 확인
• 단순 탐지 전략의 한계를 극복하고 문법적/의미적 일관성을 유지하는 확장 가능한 솔루션 제공