로컬 환경에서 구동하는 Qwen3 TTS: 표현력이 뛰어난 오픈소스 모델

요약

이 글은 로컬 환경에서 ASR(음성인식) -> LLM(대규모 언어 모델) -> TTS(텍스트 음성 변환) 파이프라인을 구축한 경험을 공유합니다. 특히 Qwen3 TTS를 활용하여 실시간으로 입 모양 동기화(lip-synced)가 가능한 아바타 시스템을 구현했습니다. 초기에는 TTS 성능에 만족하지 못했지만, 모델의 스트리밍 구조적 장점을 활용하고 `llama.cpp`와 통합하며 안정성을 높였습니다. 또한, 단어별 타이밍과 음소 정보를 얻기 위해 CTC(Connectionist Temporal Classification) 정렬 기능을

핵심 포인트

• Qwen3 TTS는 로컬 환경에서 실시간으로 구동 가능하며 표현력이 뛰어난 오픈소스 모델입니다.
• 모델의 스트리밍 구조 덕분에 LLM 응답과 연계하여 일관성 있는 음성(prosody, pitch, intonation)을 유지할 수 있습니다.
• C# 사용 및 속도 최적화를 위해 Qwen3 TTS를 `llama.cpp`와 양자화(quantized)하여 통합했습니다.
• 정확한 자막 및 입 모양 구현을 위해 CTC 단어별 정렬(word-level alignment) 기능을 추가로 구현해야 했습니다.