LLM 기반 ASR 시스템을 위해 합성 음성(Synthetic Speech)을 활용하는 방법은 무엇인가?

요약

LLM 기반 ASR 시스템 학습 시 합성 음성과 실제 음성 간의 분포 차이를 줄이기 위한 연구를 다룹니다. LLM의 특정 레이어가 합성 음성을 판별하는 지점을 찾아내고, RIR 증강과 레이어 선택 모듈을 통해 실제 데이터 사용량을 25%로 줄이면서도 대등한 성능을 달성했습니다.

핵심 포인트

• LLM의 초기-중기 레이어가 합성 음성과 실제 음성을 구분하는 핵심 지점임을 발견
• RIR(실내 임펄스 응답) 증강이 합성 음성의 음향적 불규칙성을 재현하여 격차를 좁힘
• 레이어 선택 모듈과 RIR 증강 결합 시 실제 데이터 25%만으로 베이스라인 성능 달성
• 표현 수준의 분리 가능성이 반드시 ASR 성능 향상으로 직결되지는 않음을 입증