저는 방향성(steerable)을 가진 작은 TTS 모델을 찾고 있었지만 아무것도 찾을 수 없었습니다. 특히 대화 중 LLM으로부터 컨트롤을 제공하여 문맥적으로 조정할 수 있는 무언가를 원했습니다. 그래서 직접 만들었습니다. 이 모델은 다음과 같습니다: 9.6M 파라미터의 음향 모델 (attention + bidirectional Mamba-3, FastPitch 스타일) + Vocos 보코더 = 총 23M 파라미터로 구성되어 있으며, 12가지 컨트롤을 제공합니다. 각 컨트롤은 선택된 목소리의 중립적인 발화에 대한 z-score를 기준으로 합니다: 속도(rate), 음량(loudness), 중앙 피치(median pitch), 피치 범위(pitch range), 최종 상승/하강(final rise/fall), 일시 정지(pauses), 스펙트럴 기울기(spectral tilt), 숨소리 관련 측정값 등입니다. 또한: 51개의 스타일 태그, 자유 텍스트 프롬프트 (검사 가능한 JSON 요청으로 변환됨), 인라인 마크업 (강조, [일시 정지 400ms], <느림>...</느림>), 문장 단위 스트리밍 지원, 2,825개의 내장된 (익명화된) 목소리, 그리고 실험적인 제로샷 클로닝 기능이 있습니다. 속도: - RTX 5070에서 실시간(RTFx) 약 60–80에 근접하며, 선택적 flow refiner 없이 CPU에서는 약 4–8입니다. CPU에서 첫 오디오 스트리밍은 약 0.5초 만에 이루어집니다. 품질: Open TTS Leaderboard 영어 세트에서 평균 WER(단어 오류율)이 약 1.8%입니다 (로컬에서 실행한 것이며 공식 제출물은 아닙니다. 관련하여 문의를 했습니다). 잘 작동하지 않는 부분 (솔직하게 말씀드립니다): 음량, 피치, 기울기는 안정적으로 제어되지만, 일시 정지(pause), 발성(voicing), CPPS 컨트롤은 약합니다. 감정 태그는 스타일 스위치처럼 작동하며, 독립적인 감정 분류기는 이들을 구별하는 데 어려움을 겪습니다. 클로닝 유사도는 낮으므로 설득력 있는 닮음을 기대해서는 안 됩니다. 자유 텍스트 프롬프트는 부정문(