다시 audio.cpp입니다. 아직 지겹지 않으셨기를 바랍니다 :) Release 0.3에서는 다섯 가지 새로운 모델인 Supertonic 3, MOSS-TTS-Local, MOSS-TTS-Nano, IndexTTS2, 그리고 Irodori-TTS가 추가되었습니다. 가장 주목할 만한 것은 Supertonic 3입니다. 이 모델은 CUDA (RTX 5090)에서 200배 이상의 실시간 성능을, CPU에서는 6배 이상을 달성하며, CUDA 스트리밍 모드에서 약 47ms의 TTFT(Time To First Token)를 기록할 수 있습니다. 데모(거친 데모에 대해 죄송합니다)에서는 'The Adventures of Sherlock Holmes'를 입력으로 사용하여 RTX 5090에서 약 3분 만에 10시간 분량의 오디오를 생성했습니다. Supertonic 3 작업도 매우 재미있었습니다. 공식 구현은 ONNX를 사용하므로, 저는 추론 경로를 역설계하여 safetensors 가중치 주변으로 재구축해야 했습니다. audio.cpp 버전이 CUDA에서 Python 구현보다 훨씬 빠르며, CPU 성능은 거의 비슷하거나 약간 더 빠릅니다. 큰 CUDA 성능 향상의 한 가지 이유는 ONNX 버전이 일부 노드를 CPU로 다시 보내기 때문에 GPU를 완전히 활용할 수 없다는 점입니다. 0.3에 출시된 다른 모델들은 테스트 케이스에 따라 비슷한 속도부터 2배 이상 빠른 속도를 보입니다. IndexTTS2의 장문 테스트(6,000자 입력 텍스트 + 2,400자 감정 텍스트)에서 C++는 Python보다 5.65배 빠릅니다. GGUF 지원이 추가되었으며 모델별로 순차적으로 배포될 예정입니다. 기여와 피드백은 언제나 환영합니다. 모델 커버리지, 스트리밍, GGUF 지원, 백엔드 호환성, 성능, 테스트 및 서버/UI 계층 전반에 걸쳐 개선할 부분이 여전히 많습니다. 레포지토리: https://github.com/0xShug0/audio.cpp /u/Acceptable-Cycle4645가 제출했습니다. [링크] [댓글]