LASE: 인도어 크로스 스크립트 정체성 보존을 위한 언어 적대적 스피커 인코딩

다국어 보이스 클로닝에 사용되는 스피커 인코더는 오디오가 어떤 문자열 (script) 으로 발음되었든 동일한 스피커를 동일하게 처리해야 합니다. 오프더쉐프 인코더들은 그렇지 않으며, 실패는 방언 조건부입니다.

영문, 힌디어, 텔루구어, 타밀어의 1043 쌍의 서양 방언 보이스 코퍼스에서, WavLM-base-plus-sv 는 동일한 목소리가 문자열을 변경할 때 0.082 의 절대적 코사인 유사도를 잃고 ECAPA-TDNN 은 0.105 를 잃습니다.

인도 방언 보이스 코퍼스가 1369 쌍일 경우, 이 격차는 WavLM-SV 에서 0.006 으로 줄어듭니다 (ECAPA-TDNN 은 0.044) .

이 누출은 크로스 스크립트 TTS 에서 가장 중요한 곳에서 발생합니다: 시스템이 인도어 훈련되지 않은 목소리를 인도어 문자열로 투영할 때.

우리는 LASE (Language-Adversarial Speaker Encoder) 를 제시합니다. 이는 고정된 WavLM-base-plus 위에 작은 projection head 로, 두 손실 함수로 훈련됩니다:

1. 음성 정체성에 대한 supervised contrastive loss
2. 4 언어 분류기에 대한 gradient-reversal cross-entropy (이러한 손실은 임베딩을 언어에 무관하게 만들지만 스피커 정보는 유지합니다)

LASE 는 8 개의 상용 다국어 보이스에서 합성된 1118 쌍의 품질 게이트드 크로스 스크립트 쌍으로 훈련되었습니다. LASE 의 잔류 격차는 두 코퍼스 모두에서 0 에 일관됩니다 (Delta = 0.013 Western, Delta = 0.026 Indian; bootstrap 95% CIs 는 모두 0 을 포함합니다) 및 두 기준에 대해 크로스 스크립트 vs floor margin 을 2.4-2.7 배 증폭시킵니다.

ECAPA+GRL ablation 은 GRL objective 가 어느 백본을 개선하지만 WavLM 선택도 기여함을 보입니다.

합성 멀티 스피커 디아리제이션에서, LASE 는 ECAPA-TDNN 과 크로스 스크립트 스피커 리콜 (0.788 vs 0.789) 을 일치하며 ~100 배 적은 훈련 데이터를 사용합니다.

우리는 r1 체크포인트, 두 코퍼스, 그리고 bootstrap recipe 을 공개합니다.