TTS 벤치: 동일한 프롬프트로 테스트한 91개 오픈 소스 TTS 모델 및 28개 유료 TTS API 비교

이것은 tts-bench의 세 번째 라운드입니다. 이전 두 게시물에 피드백을 주신 모든 분들께 감사드립니다: 알려진 모든 TTS 모델의 TTS 벤치마크 비교. 개선된 tts-bench는 모든 모델을 동일한 Python 하네스에서, 동일한 프롬프트를 사용하여 테스트하므로 공정하게 비교하고 실제로 출력을 들을 수 있습니다. 이번 라운드에서는 호스팅되는 API를 위한 별도의 게시판이 추가되었습니다.

무엇이 포함되어 있나요? RTX 5090 32GB, RTX 3090 24GB, 그리고 Apple M4 16GB(가끔)에서 로컬로 구동되는 91개의 오픈 모델과, 자체 게시판에서 테스트된 28개의 호스팅 API입니다. 이들은 동일한 6가지 프롬프트(미국 동부 시간대에서 여러 날에 걸친 워밍업 호출의 평균값)를 사용하여 테스트되었습니다.

프롬프트는 영어, 스페인어, 프랑스어로 되어 있으며, 모든 모델에 대한 오디오 샘플, 첫 오디오까지 걸리는 시간(time to first audio), 실시간 배율(realtime factor), UTMOS, WER, 음성 복제 유사도(voice-cloning similarity), 그리고 API 가격이 포함되어 있습니다.

오픈 보드 결과 중 일부:
가장 빠른 모델: AuroraTTS-100K. RTX 5090에서는 워밍업 상태에서 첫 오디오까지 12ms에 도달하며 실시간 배율은 603×입니다. CPU(Ryzen 9 9950X3D)에서는 38ms이며 실시간 배율은 204×입니다.
최고 UTMOS (자연스러움): Maya1 (4.487), Underdog Woof (4.442), Phonon 31m (4.424), Chatterbox (4.423).
최고 클로닝 유사도: LongCat-AudioDiT 3.5B (0.875)이며, 그다음으로 LongCat-AudioDiT 1B (0.863)와 FireRedTTS3 (0.843)입니다.

호스팅 보드 결과:
가장 빠른 음성 출력: AssemblyAI 30ms, Gradium 53ms, Palabra 77ms였습니다.
UTMOS 기준으로 가장 자연스러운 소리는 VUI Labs Luna (4.488)였습니다. 이 모델은 또한 제가 직접 목소리를 참조로 사용하여 테스트한 21개 API 중 최고의 클로닝 유사도를 기록했지만, 말하기 시작하는 데 약 1.2초가 걸립니다.
가장 저렴한 것은 100만 문자당 약 $9~$10입니다 (Async, Giggy, Fish, Murf). ElevenLabs v4는 $80입니다.

수치로 알 수 없는 것들 (“객관적 지표”):
UTMOS는 인간의 선호도가 아닌 자동화된 자연스러움 예측기입니다. 이것이 청취 페이지와 블라인드 투표 아레나가 존재하는 이유입니다. WER은 전사(transcription)를 통해 명료도(intelligibility)를 측정합니다. 이는 어떤 목소리가 가장 좋은지 순위를 매기는 것이 아닙니다. 첫 오디오까지 걸리는 시간은 전체 클립 지연 시간이 아니며, 저는 동시성을 측정하지 않습니다. 호스팅 모델과 로컬 모델은 절대 서로 비교하여 순위가 매겨지지 않습니다.

링크 | 리포지토리(Repo) | 오픈 모델 보드(Open models board) | 호스팅 API 보드(Hosted APIs board) | 블라인드 인간 투표 아레나(Arena with blind human votes). 가장 좋아하는 모델의 점수가 예상과 다르게 나온다면, 샘플을 듣고 아레나에서 투표해 보세요. 사람들이 실제로 귀로 어떤 것을 더 선호하는지 궁금합니다. /u/UkieTechie 제출 [링크] [댓글]