IWSLT 2026 교차 언어 음성 복제(Cross-Lingual Voice Cloning)에 대한 KIT의 제출 논문

교차 언어 음성 복제 (Cross-lingual voice cloning)는 소스 언어 (source-language) 참조로부터 화자의 정체성 (speaker identity)을 유지하면서 대상 언어 (target language)로 음성을 생성하는 것을 목표로 합니다. 이 작업은 음성 번역 (speech translation)의 핵심이며, IWSLT 2026 교차 언어 음성 복제 (Cross-Lingual Voice Cloning) 트랙의 중점 과제입니다. 주요 과제는 악센트 변이 (accent variation) 및 도메인 특화 어휘 (domain-specific vocabulary)가 존재하는 상황에서 명료도 (intelligibility)와 자연스러움 (naturalness)을 유지하는 것입니다. 우리는 다국어 텍스트 음성 변환 (multilingual text-to-speech) 모델인 FishAudio-S2-Pro를 기반으로 구축하였으며, 언어 제어 (language control)를 개선하고 악센트 누출 (accent leakage)을 줄이기 위해 언어 태그 프롬프팅 (language tag prompting)을 도입합니다. 나아가 작업 적응 (task adaptation)을 위해 강화학습 (RL) 미세 조정 (fine-tuning)을 적용하였으며, 명료도 (intelligibility)의 향상을 관찰했습니다. 마지막으로, 어휘적 중첩 (lexical overlap)이 존재할 때 도메인 특화 용어의 발음을 개선하는 참조 조건부 어휘 매칭 (reference-conditioned lexical matching) 방법을 제안합니다. 결과에 따르면 언어 프롬프팅 (language prompting)이 가장 큰 이득을 제공하는 반면, 어휘 매칭 (lexical matching)은 매칭된 하위 집합 (matched subsets)에서 일관된 개선을 보여줍니다.