오늘 저는 Inflect v3를 공개합니다. 이는 Mini, Micro, Atom으로 구성된 계열의 로컬 음성 합성(TTS) 모델입니다. Mini는 주력 모델로, 총 여섯 가지 목소리와 34.31M 파라미터를 가지고 있습니다. Mini는 음성 이벤트 태그(vocal-event tags), 레퍼런스 보이스 튜닝(reference voice-tuning), 그리고 48 kHz 향상 기능을 제공합니다. CPU와 CUDA 모두에서 실행할 수 있습니다. GitHub, 설치 및 예시는 다음 링크를 참조하세요: https://github.com/owenawsong/Inflect 플레이그라운드 사용해 보기: https://huggingface.co/spaces/owensong/Inflect-v3
Mini는 레퍼런스 보이스 튜닝 기능을 갖추고 있습니다. 이 기능은 녹음 파일로부터 프로필을 만들어 해당 목소리로 음성을 생성할 수 있게 합니다. 이 기능은 사용자의 레퍼런스에 맞춰 목소리를 눈에 띄게 조정하지만, 모든 화자를 정확하게 재현하지는 못합니다. Inflect Mini V3는 또한 다음의 음성 이벤트 태그를 지원합니다: [laugh] · [sigh] · [gasp] · [cough] · [yawn] · [inhale] · [exhale] · [throat_clear]
원하는 순간에 사운드가 발생하도록 태그를 삽입할 수 있습니다. 현재 이 태그들은 반복 가능한 연기를 사용하기 때문에, 같은 태그가 반복되면 변화의 폭이 제한적입니다. 또한, 태그는 주변 단어들이 발화되는 방식에는 영향을 미치지 않습니다.
모델 계열은 다음과 같습니다:
- Mini: 34.31M 파라미터. 위에 나열된 기능들을 갖춘 고품질 모델에 중점을 두었습니다.
- Micro: 11.79M 파라미터. 더 작은 신경 음성 모델입니다.
- Atom: 157K 파라미터. 극도로 작은 학습 코어입니다.
위의 숫자는 합성 코어(synthesis cores)를 계산한 것입니다. 프론트엔드와 선택적 구성 요소가 총합에 추가됩니다. 가중치(weights)와 추론 코드(inference code)는 Apache 2.0 라이선스입니다. 타사 구성 요소들은 자체 라이선스를 유지합니다.
오디오 샘플, 벤치마크 및 사용된 설정은 모델 카드에서 확인할 수 있습니다. 모델 컬렉션: https://huggingface.co/collections/owensong/inflect-v3
만약 문장이 잘못 생성된다면, 사용한 텍스트, 목소리, 설정을 저에게 보내주세요.
제출자: /u/b111ue [링크] [댓글]
