LASE: 인도어 크로스 스크립트 정체성 보존을 위한 언어 적대적 스피커 인코딩

요약

본 논문은 다국어 보이스 클로닝 및 TTS 시스템에서 발생하는 크로스 스크립트(cross-script) 정체성 손실 문제를 해결하기 위해 LASE(Language-Adversarial Speaker Encoder)를 제안합니다. 기존의 오프더쉐프 인코더들은 발음된 문자열이 바뀌면 동일한 화자의 목소리 특징을 제대로 유지하지 못하는 문제가 있었습니다. LASE는 음성 정체성을 보존하면서 언어 정보를 제거하는 두 가지 손실 함수(supervised contrastive loss 및 gradient-reversal cross-entropy)를 사용하여 훈련되었으며, 이로 인해 인도어와 같은 복잡한 크로스 스크립트 환경에서 현저히 개선된 성능을 보여줍니다.

핵심 포인트

• LASE는 다국어 TTS/보이스 클로닝의 핵심 문제인 크로스 스크립트 정체성 손실 문제를 해결합니다.
• 기존 인코더들은 문자열이 변경될 때 화자 고유의 목소리 특징을 잃는 문제가 있었습니다 (예: WavLM-base-plus-sv에서 인도어 코퍼스 사용 시 격차 감소).
• LASE는 음성 정체성을 유지하면서 언어 정보를 제거하는 Gradient-Reversal Cross-Entropy(GRL) 손실 함수를 도입합니다.
• LASE는 기존 모델 대비 크로스 스크립트 vs floor margin을 2.4~2.7배 증폭시키며, 적은 데이터로도 높은 성능을 유지합니다.