KittenML이 초효율적인 최신(frontier) TTS 모델이자 세계 최초의 1.58비트 TTS 모델인 Kitten-TTS 2의 코드와 가중치(weights)를 공개했습니다.
CPU만으로 실시간 구동이 가능하며, 제로샷 음성 복제(zero-shot voice cloning), 다국어 지원, 표현적/강조 제어 기능을 제공합니다. 코드와 가중치는 오픈소스입니다. Ternary(1.58비트) 가중치란 모델을 매우 저렴하게 로컬에서 구동하거나 자체 호스팅할 수 있다는 의미입니다.
Github: https://github.com/KittenML/KittenTTS
Hugging Face: https://huggingface.co/KittenML/kitten-tts-2
KittenML's Discord: https://discord.com/invite/VJ86W4SURW
주요 기능 및 장점
Ternary TTS: 본체(body)의 모든 선형 가중치(linear weight)가 세 가지 값(-1, 0, +1) 중 하나이며 스케일(scale) 그룹 크기는 128입니다. 작은 용량과 빠른 CPU 추론(inference)이 가능합니다. 이 모델은 1.7B 파라미터를 가지고 있습니다.
CPU 및 일반 소비자용 GPU에서도 실시간 구동 가능: 실시간 생성을 위해 GPU가 필요하지 않습니다. CPU 추론을 위한 최적화된 ternary 커널이 제공됩니다.
표현적인 음성 복제: 5초 미만의 참고 오디오(reference audio)만으로 제로샷 클로닝이 가능하며, 표현력, 악센트 정보 등을 유지합니다. 파인튜닝(fine-tuning)이 필요하지 않습니다.
다국어 TTS: 모델은 20개 이상의 언어로 음성 복제를 지원합니다. 교차 언어 음성 복제(Cross-language voice cloning)를 사용하여 악센트가 있는 발화도 생성할 수 있습니다.
표현적/강조 제어: 단순히 목소리를 선택하는 것을 넘어, 전달 방식과 특정 단어의 강세(stress)를 조절할 수 있습니다. 자세한 내용은 Readme을 참고하세요.
오픈소스 (정말 멋지다!): 코드와 가중치가 오픈소스이며 무료로 사용 가능합니다. GPU 사양이 낮은 사용자들을 위한 elevenlabs의 OSS 대안입니다. 쉽게 자체 배포하거나 로컬에서 구동할 수 있습니다.
- V0.8 대비 개선된 점: 더 높은 품질입니다. 완전히 새로운 아키텍처, 자연스러운 음성, ternary 가중치, 제로샷 음성 복제, 다국어 지원, 강조/감정 제어가 추가되었습니다.