몇 달 전의 Qwen3-TTS llama.cpp 데모를 기억하는 분들이 있을 것입니다. 당시 해당 PR(Pull Request)은 llama.cpp에 필요한 그래프 및 API 구성 요소 일부가 부족하여 병합되지 않을 가능성이 높다고 언급되었습니다. 어제 새로운 구현체가 마스터(master) 브랜치에 병합되었습니다.

현재 작동하는 기능:

• GGUF 형식의 Qwen3-TTS-12Hz-1.7B-Base
• 화자 참조(speaker reference)용 WAV 또는 MP3 파일 지원
• 영어, 중국어, 독일어, 이탈리아어, 스페인어, 프랑스어, 포르투갈어, 러시아어, 일본어 및 한국어 지원
• llama-tts 바이너리를 통한 오디오 생성

예시:
llama-tts -hf ggml-org/Qwen3-TTS-12Hz-1.7B-Base-GGUF
-p "Hello, this is running locally."
--tts-lang en
--tts-speaker-file speaker.mp3
--output out.wav

Qwen 측은 Base 모델이 약 3초 정도의 참조 오디오만으로도 음성을 복제(cloning)할 수 있다고 설명합니다. llama.cpp 버전이 음성 유사성(voice similarity)이나 안정성 측면에서 기존 PyTorch 구현과 일치하는지를 보여주는 독립적인 테스트는 아직 보지 못했습니다.

흥미로운 점은 Qwen3-TTS를 로컬에서 실행할 수 있다는 사실 그 자체가 아닙니다. 전용 C++ 구현체들은 이미 존재해 왔습니다. 핵심은 음성 복제 기능이 이제 llama.cpp 메인라인의 일부가 되었다는 점이며, 이는 해당 런타임(runtime)을 기반으로 구축된 프로젝트에 로컬 음성 출력 기능을 추가하는 것을 훨씬 쉽게 만들어 줄 것입니다.

여전히 몇 가지 중요한 제한 사항이 있습니다:

• 병합된 구현체는 현재 llama-tts를 사용합니다.
• /tts 서버 엔드포인트(endpoint)는 아직 초안(draft) PR 상태입니다.
• CustomVoice나 VoiceDesign이 아닌 1.7B Base 모델만을 대상으로 합니다.
• qwen3-tts.cpp 또는 audio.cpp와의 적절한 비교 데이터가 아직 없습니다.
• 이번 업데이트에는 기존 llama-tts 바이너리에 대한 파괴적 변경(breaking change)이 포함되어 있습니다.

제가 보고 싶은 비교 테스트는 동일한 3초 참조 클립과 동일한 문단을 사용하여 CPU, Metal, CUDA 및 ROCm 환경에서 다음 항목들을 테스트하는 것입니다:

• 실시간 계수 (Real-time factor)
• 피크 RAM 및 VRAM 사용량
• 음성 유사성 (Voice similarity)
• 장문 안정성 (Long-form stability)
• 첫 오디오가 나오기까지의 시간

특화된 포트(specialized ports)들이 속도 면에서는 여전히 우세할 수 있지만, llama.cpp는 휴대성(portability)과 통합성 측면에서 우위를 점할 수 있습니다. 혹시 이미 업데이트해서 테스트해 보신 분 계신가요?

M-series Mac 및 CPU 전용 결과가 특히 유용할 것 같습니다. 출처: https://github.com/ggml-org/llama.cpp/pull/26254 초안 서버 엔드포인트(Draft server endpoint): https://github.com/ggml-org/llama.cpp/pull/26603 /u/BTA_Labs가 r/LocalLLaMA에 제출함 [link] [comments]