Qwen3 TTS 온디바이스(on-device) 구동을 위한 안드로이드 앱을 제작했습니다
요약
Qwen3 TTS 0.6B 모델을 안드로이드 기기에서 온디바이스로 구동할 수 있는 앱 제작 사례를 소개합니다. 커스텀 GGML 기반 C++ 백엔드를 사용하여 Galaxy S25에서 실시간에 가까운 속도로 텍텍스트를 음성으로 변환합니다.
핵심 포인트
- Qwen3 TTS 0.6B 모델의 Q4 양자화 적용
- 커스텀 GGML 기반 C++ 백엔드 활용
- 안드로이드 온디바이스 환경에서의 실시간 구동 성능 확인
- Qualcomm Adreno Vulkan 커널 관련 기술적 이슈 언급
현재로서는 쇼케이스 데모에 가깝지만, Qwen3TTS 0.6B 모델은 Q4 양자화에서 사용 가능한 수준으로 빠르게 실행됩니다. 제 Galaxy S25에서는 텍스트 길이에 따라 CPU에서 약 0.5의 실시간 속도(realtime speed)가 나옵니다. 짧은 텍스트는 더 빠르고, 긴 텍스트는 더 느립니다.
이 앱은 커스텀 GGML 기반의 C++ 백엔드(https://github.com/Danmoreng/qwen3-tts.cpp)를 사용합니다. 아쉽게도 Vulkan 백엔드는 작동시키지 못했습니다. Qualcomm Adreno의 Vulkan 커널(kernels)에 문제가 있는 것으로 보입니다.
https://github.com/Danmoreng/qwen3-tts-android
submitted by /u/Danmoreng
[link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기