코코로(Kokoro)가 추가 VRAM 약 600MB만으로 모든 목소리를 복제할 수 있게 되었습니다!

오디오 모델을 찾던 중 OpenVoice를 접하게 되었습니다. 상당히 오래된 모델이지만, 놀랍게도 여전히 TTS 리더보드에서 높은 순위를 차지하고 있습니다. 제 관심을 끈 것은 그 설계 방식이었습니다. 본질적으로는 TTS와 음성 변환(voice conversion)의 결합입니다. ToneColorConverter는 TTS 모델과 독립적으로 실행될 수 있다는 점이 흥미로웠습니다. 그래서 다른 TTS 모델과 조합할 수 있을지 궁금해졌고, Kokoro를 사용해 테스트해 보니 결과가 상당히 좋았습니다! 그래서 Kokoro와 OpenVoice ToneColorConverter를 위한 작은 레시피(recipe)를 audio.cpp에 추가했습니다. 레시피는 여러 오디오 모델을 결합하는 사전 정의된 파이프라인으로 v0.9.2에서 도입되었습니다. 오버헤드는 다음과 같습니다: 추가 최대 VRAM 약 600MB, CUDA에서 약 10% 속도 저하, CPU에서는 원래 속도의 0.5배이지만 여전히 실시간의 2배입니다. 또한, 아주 작은 TTS 모델을 ToneColorConverter와 조합해 볼 수도 있습니다. TTS 모델은 음성 콘텐츠, 발음 및 운율(prosody)을 결정하는 반면, VC 모델은 목표 화자의 목소리 특성을 전송합니다. 선택할 수 있는 내장 음성도 최종 출력 품질에 영향을 미칠 수 있습니다. 기존의 TTS 모델에 재학습 없이 음성 복제 기능을 부여하는 간단한 방법입니다! 면책 조항: 이 실험은 새로운 음성 복제 모델을 도입하기 위함이 아니라, 기존 TTS 모델의 기능을 확장하는 것에 관한 것입니다. 저는 합성된 목소리를 참조로 사용했으며, CAM++가 측정한 화자 유사도 점수는 0.7에서 0.8 사이였습니다. 따라서 생성된 목소리는 제가 제공한 참조 샘플과 대체로 일치합니다. 이는 임의의 TTS 모델에 맞춤형 음성을 만드는 한 가지 방법입니다. 더 나은 결과를 얻으려면, 다양한 내장 TTS 음성 및 고품질 참조 오디오를 실험해 볼 필요가 있을 수 있습니다. 이 두 요소 모두 최종 품질과 화자 유사도에 큰 영향을 미칠 수 있습니다. 예를 들어, 동일한 참조 샘플을 사용했을 때 am_michael의 점수는 0.4인 반면, am_adam은 0.7까지 도달할 수 있었습니다. submitted by /u/Acceptable-Cycle4645 [link] [comments]