ItoTTS: 4.89MB 용량으로 ESP32-S3에서 작동하는 자연스러운 영어 음성 엔진

안녕하세요! 저는 Lokutor 팀의 일원입니다. 지난주에 Oído를 소개했고, 반응이 정말 좋았습니다. 여러분으로부터 이 기능을 좋아한다는 수많은 영상과 메시지를 받았습니다. 감사합니다!

이제 저희는 계획의 다음 단계인 ItoTTS로 돌아왔습니다. ItoTTS는 ESP32-S3용 자연스러운 음성 스트리밍 TTS 엔진입니다. 영어 목소리 두 개, 24kHz 오디오를 지원하며, 각 목소리당 가중치(weights)가 4.89MB에 불과합니다. 목표는 로컬 LLM에 $5짜리 칩으로 목소리를 부여하는 것입니다.

저희의 자동 자연성 평가에서 Ito는 비교 대상이었던 ESP32 호환 TTS 모델들보다 우수한 성능을 보였습니다. 여기 8개의 테스트 문장에 대한 UTMOS 점수가 있습니다:
Teacher (StyleTTS 2): 4.49
Ito: 4.46
sanoTTS amy: 3.98
sanoTTS heart-nano: 2.07

이것은 독립적인 청취 연구나 모두가 Ito를 선호할 것이라는 증거는 아닌, 작은 자동 평가일 뿐입니다. 샘플을 들어보시고 의견을 알려주세요. 데모는 호스트 엔진의 출력을 사용하며, QEMU의 펌웨어와 비트 단위로 동일하게 검증되었습니다. 아직 실제 보드에서 속도를 측정하지 않았으며, 텍스트-음소 변환(text-to-phoneme conversion)은 현재 호스트에서 실행됩니다.

코드: https://github.com/lokutor-ai/ito 모델 가중치: https://huggingface.co/lokutor-ai/ito 데모: https://lokutor-ai.github.io/ito/

코드는 GPLv3 하에 오픈 소스입니다. 가중치는 Hugging Face를 통해 접근할 수 있으며, 비상업적 용도로 CC BY-NC-SA 4.0 플러스 약관 하에 무료로 사용할 수 있습니다. 이것은 무제한으로 공개된(unrestricted) 오픈소스 가중치인 것은 아닙니다.

저희가 이 라이선스를 선택한 이유는 대기업들이 저희의 작업을 가져가서 저희를 압도하는 것을 원하지 않기 때문입니다. 저희는 스스로를 보호해야 하지만, 라이선스 비용을 청구하지 않는 개인 및 소규모 회사와의 협업에는 매우 열려 있습니다. 상업적 사용은 여전히 별도의 서면 계약이 필요합니다.

사용해 보시고 영상이나 리뷰를 보내주세요. 저희는 항상 지켜보고 있으며 여러분이 무엇을 만드실지 기대하고 있겠습니다!