Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Freya-TTS는 높은 신뢰성과 효율성을 갖춘 대화형 합성 TTS 모델입니다. 1억 8,320만 개의 파라미터를 가진 DiT 기반으로 작동하며, 터키어에 최적화되어 있습니다. 이 모델은 자원 제한적인 환경에서도 실시간 성능을 보여주며, 오픈 소스로 공개되었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기우리는 높은 신뢰성과 효율성을 갖춘 대화형 합성(conversational synthesis)을 위해 설계된 작고 토크나이저가 필요 없는 터키어 우선 텍스트-음성 변환(text-to-speech, TTS) 모델인 Freya-TTS를 소개합니다. Freya-TTS는 AudioVAE2의 고정된 연속 잠재 공간(16 kHz 인코딩, 48 kHz 디코딩)에서 작동하는 1억 8,320만 개의 파라미터를 가진 비자기회귀 조건부 흐름 일치 확산 트랜스포머(Diffusion Transformer, DiT)입니다. 이는 모델이 텍스트-잠재 매핑에 역량을 집중시키는 동시에 고품질의 48 kHz 재구성을 계승할 수 있도록 합니다. 우리는 이 프레임워크를 세 가지 주요 차원에서 발전시켰습니다: (1) 음소화기(phonemizer), 그래프미-음소 전처리 단계(grapheme-to-phoneme frontend), 또는 이산 음성 토크나이저 없이 92개 심볼의 터키어 문자 어휘로부터 규칙 없는 종단 간 모델링을 수행합니다. (2) 예측된 지속 시간 동안 전체 잠재 시퀀스를 동시에 예측하는 비자기회귀 병렬 디노이징(non-autoregressive parallel denoising)입니다. 그리고 (3) 단일 화자 음성 고정(single-speaker voice locking)과 짧은 발화 커버리지로 구성된 생산 지향적인 2단계 사후 학습 레시피를 통해 화자 일관성과 짧은 입력에 대한 견고성을 개선했습니다. Freya-TR-Eval 벤치마크에서 Freya-TTS는 8.0%의 대역 매칭 단어 오류율(word error rate, WER)과 3.0%의 문자 오류율(character error rate, CER)을 달성하여, 파라미터는 훨씬 적게 사용하면서도 훨씬 더 큰 오픈 소스 시스템들보다 우수한 성능을 보였습니다. 이 모델은 소비자용 GPU에서 0.11의 실시간 계수(real-time factor)를 달성하며 노트북 CPU에서도 실시간보다 빠르게 작동하므로, 자원이 제한된 엣지 배포에 매우 적합합니다. 우리는 이 모델 가중치, 학습 및 추론 코드, 그리고 평가 벤치마크를 Apache-2.0 라이선스 하에 공개합니다.