Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Zyphra가 개발한 ZONOS3-Mini는 1억 개의 활성 파라미터로 작동하는 오픈 소스 TTS 모델입니다. 고화질 음성 복제와 다양한 감정, 속도 제어가 가능하며, 브라우저나 로컬 환경에서 실시간으로 구동됩니다. CUDA, MLX 등 여러 플랫폼의 네이티브 런타임을 제공하며 43개 언어를 지원합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기ZONOS3-Mini는 Zyphra가 개발한 작고 오픈 소스인 텍스트-음성 변환(text-to-speech) 모델로, 단 1억 개의 활성 파라미터만으로 자연스럽고 신뢰할 수 있는 음성과 고화질(high-fidelity) 음성 복제를 제공합니다. 이 모델은 브라우저에서 직접 실행하는 것을 포함하여 휴대폰과 노트북에서 실시간으로 작동합니다. 오디오 샘플로부터 목소리를 복제하거나, 나이, 억양, 성대 질감을 조절하여 캐릭터를 디자인할 수 있습니다. 게임, 내레이션 및 음성 비서에 맞춰 개별 단어 단위로 감정, 속도, 전달 방식을 제어할 수 있습니다. ZONOS3-Mini는 자체 브라우저 및 네이티브 런타임으로 로컬에서 실행하거나 Zyphra Cloud를 통해 접근할 수 있습니다. 모델 가중치는 Apache 2.0 하에 공개됩니다. 모델 세부 정보, 샘플 및 평가는 블로그 게시물에서 확인할 수 있습니다. 호스팅 버전은 Zyphra Cloud에서 이용 가능합니다.
지원 언어: ZONOS3-Mini는 43개 언어를 지원합니다.
네이티브 런타임: ZONOS3-Mini GitHub 저장소에는 Zyphra 자체 런타임이 포함되어 있으며, 이들은 하나의 HTTP API를 공유하고 다음을 제공합니다: NVIDIA GPU용 CUDA 서버, Apple Silicon용 MLX 서버, C++/ggml 서버 및 CLI(CPU, CUDA, Metal 또는 Vulkan), 그리고 브라우저 내 WebGPU 빌드입니다. 이들은 gguf/에서 GGUF 파일을 로드하고, web/에서 WebGPU 샤드를 로드합니다. 언어별로 그룹화된 27개의 기본 음성은 gguf/voices/에 있습니다.
아키텍처 (개요): 텍스트는 NeMo 정규화(NeMo-normalized)되며(영어, 만다린 중국어, 일본어, 한국어, 독일어, 스페인어, 프랑스어, 이탈리아어, 포르투갈어; 기타 언어는 작성된 대로 통과됨), 8,192개 항목의 SuperBPE 토크나이저로 인코딩됩니다.
언어 모델은 텍스트, 화자 프롬프트(speaker prompt), 그리고 세 가지 버킷화된 음향 제어(bucketed acoustic controls) 조건 하에 15 Hz의 이중 코덱 프레임(dual-codec frames)을 자기회귀적으로 생성합니다 (각 4,096개 항목으로 구성된 10개의 코드북: Wav2Vec2-BERT 교사 모델에서 증류된 하나의 의미론적 코드북(semantic codebook)과 아홉 개의 음향 코드북). 인과적 다중 해상도 iSTFT 헤드(causal multi-resolution iSTFT head)는 프레임이 생성됨에 따라 이를 44.1 kHz 오디오로 변환합니다.
ZONOS3-Mini 백본(Backbone): 레이어 11개, 모델 차원(model dim) 1,024; 총 파라미터 800M, 토큰당 약 100M 활성 (잠재적 MoE: 전문가 64개, 상위-2 라우팅, 레이어 1부터).
시퀀스 믹서 패턴 gdn3_global1: GDN(Gated DeltaNet) 레이어 9개 + 전역 어텐션 레이어 2개 (헤드 16개 x 차원 32, KV 헤드 4개), 어텐션 잔차(attention residuals): full_attnres; 컨텍스트 길이 32,768 포지션. 텍스트는 SuperBPE를 사용하며 8,192개 항목(+4 특수 토큰)을 포함하고, 추론 시 NeMo 텍스트 정규화를 적용합니다.
오디오 토큰: 15 Hz, 44.1 kHz 이중 인코딩 코덱, 10 x 4,096 코드북 (의미론적 1개 + 음향 9개); 호프(hop) 2,940 샘플; 생성당 최대 10분 분량의 오디오.
화자 프롬프트: 원본 참조 클립(codec에 의해 토큰 접두사로 인코딩됨, 최대 60초, 화자 CFG 포함) 또는 단일 192차원 MECT-B2 화자 임베딩(ownmect_s2).
제어 요소: 음량(LUFS, 10 버킷), 대역폭 f_max(Hz, 10 버킷), 말하기 속도(UTF-8 바이트/초, 30 버킷); 각 행은 "unknown" 인덱스를 가지며, 버킷 경계는 params.json (condition_edges)에 있습니다.
디코더 인과적 다중 해상도 iSTFT 헤드: full_mr(기본값) 또는 keep2_plain(가지치기됨, 약 3배 빠른 디코드).
정밀도는 bf16 가중치(model.pth)를 사용하며, 디코더 헤드는 fp32로 실행됩니다.
GitHub: https://github.com/zyphra/zonos3-mini 출처(Source): https://www.zyphra.com/our-work/zonos3-mini 프로젝트(Project): https://www.zyphra.com/models/zonos3-mini 제출자 /u/pmttyji [링크] [댓글]