Lure-TTS와 Lure-Turbo: 인라인 태그(tags), 방향성, 음성 복제 기능을 갖춘 600M 음성 모델을 실시간보다 4배 빠르게

저는 RLVR, OPD, 다중 교사 OPD와 같은 최신 모델 학습 발전을 사용하여 Qwen3-TTS를 파인튜닝(finetuning)하여 Lure TTS를 학습시켰습니다. 제 목표는 음성 비서처럼 들을 수 있고 짜증나지 않을 만큼 빠르면서도 작은 TTS 모델을 만드는 것이었습니다. 사실 저는 필요할 때 거대한 GPU를 꺼낼 필요가 없는, 소리가 좋고 빠른 모델만을 원했습니다. 제가 가장 먼저 한 일은 강도(intensity), 이벤트(웃음, 울음, 한숨, 침 삼키기 등), 감정, 방향성을 포착하기 위해 분류기(classifiers)를 훈련하여 YODAS와 Open Yap 샘플을 정리하는 레이블링된 데이터를 사용한 것입니다. 그런 다음 Qwen 3 TTS 0.6B에 새로운 태그 정보를 주입하기 위해 실제로 SFT 단계를 거쳤는데, 이 모델은 단순히 태그를 소리 내어 읽기만 했기 때문입니다. 저의 다음 계획은 다중 교사 OPD였으며, 여기서 각 기술(음성 복제, 방향 이해, 텍스트 태그 등)을 개별적으로 훈련한 후 최종적인 온-폴리시 증류(on-policy distillation)를 통해 모든 교사를 모델로 끌어들였습니다. 저는 처음에 강건성(robustness)과 화자 유사성(speaker similarity)을 위해 교사들을 훈련했지만, 결국 교사들을 결합하는 과정에서 화자 유사성 쪽이 마음에 들었습니다. 그 후 저는 정말 속도를 원했습니다. 저는 12개 레이어를 가진 300M 모델을 구축하기 시작했는데 (그냥 괜찮아 보이는 소리였지만 너무 얇했어요). 하지만 그런 다음, 이 코드를 학습하여 15-패스 코드 예측기(code predictor)를 3패스로 줄임으로써 더 빠른 시간을 얻을 수 있다는 것을 깨달았습니다. 그리하여 이 모델은 실시간 음성보다 4배 빠르게 구동될 수 있습니다. 저는 현재 체크포인트에서 OPD를 사용하여 Turbo를 훈련시켰고, 이는 훨씬 빨랐습니다. ^ 참고로 이것은 동일한 화자 유사성(ECAPA 0.699)을 유지하면서 5B Fish S2 Pro 대비 RTF가 0.14 vs 0.195인 수치를 보여줍니다. 모든 학습 과정은 $200 미만으로 이루어졌으며 RTX PRO 6000보다 높은 GPU를 사용하지 않았습니다. (RTF 테스트에는 H100 사용). 저는 (laugh: big)이나 (whispering)과 같은 더 구체적인 태그가 긴 문장, 감정 전환, 그리고 자유 형식의 의역(freeform paraphrases)에서 더 잘 작동하도록 만드는 작업을 진행하고 있으며, 전체 사이클을 다시 할 수 있도록 더 나은 태거를 구축하는 작업도 하고 있습니다.

또한, 저는 faster-qwen3-tts (CUDA), mlx-audio (Mac), audio.cpp (CPU)를 기반으로 구축된 엔진(Lure-TTS라고도 불림)을 공개했습니다. 동일한 4090에서 qwen-tts 레퍼런스 코드를 실행하는 것과 비교했을 때, 이 엔진은 10.6초 대신 0.17초 만에 첫 오디오를 출력하며 전체적으로 약 5배 빠릅니다 (RTF 0.53 대 2.54). 이는 0.32초 청크를 스트리밍하고, CUDA 그래프를 사용하며, 최대 8개의 요청을 한 번에 배치 처리하기 때문입니다. 이 엔진은 Mac, NVIDIA GPU 또는 모든 CPU에서 단일 Python API, CLI(명령줄 인터페이스), 그리고 OpenAI와 호환되는 서버를 통해 Lure, Lure Turbo, 그리고 모든 Qwen3-TTS 12Hz 체크포인트를 구동할 수 있습니다. (이것은 0.6B 모델의 음성 방향성을 가능하게 하고 Lure 및 Turbo 모델에 대한 최적의 구성을 제공하기 때문에 구축되었습니다.) 제 학습 코드는: https://github.com/smirki/lure-train Lure TTS 엔진은: https://github.com/smirki/lure-tts 솔직히 말해서, 저는 이 분야에서 여전히 배우고 연습하고 있습니다. 만약 누군가 출력물을 평가하거나 체크포인트를 가지고 놀아보고 싶다면 저에게 연락주세요! (또는 컴퓨팅이나 연구 아이디어가 있다면!) 제출자: /u/smirkishere [링크] [댓글]