audio.cpp의 Drama3 지원: 최고 속도에서 실시간보다 최대 5배 빠르며, RTX 5090의 VRAM 8GB 미만에서도 실시간 속도의

audio.cpp에 대한 Drama3 지원은 https://github.com/JarodMica 님의 기여로 이루어졌습니다. 멋진 작업에 진심으로 감사드립니다! 지금까지 후속 최적화는 주로 CUDA에 초점을 맞추어 진행되었습니다. 이 모델은 Vulkan과 Metal에서도 실행됩니다. 성능, VRAM 효율성 및 정확도 측면에서 개선할 여지가 아직 많이 남아 있습니다. Vulkan의 경우, 토큰 제한(token limit) 요청이 있었습니다. 또한 다중 화자 생성 시 예상치 못한 침묵을 발견했습니다. 모델이 마이너 릴리스에 포함되기까지는 더 많은 반복 작업이 필요할 것입니다. 저희가 모델 최적화에 추가로 도움을 주실 의향이 있으시다면, 기여를 환영합니다! 공유 프레임워크(shared framework)를 건드리는 모든 변경 사항은 누적적이고 옵트인(additive and opt-in) 방식으로 진행해 주시기 바랍니다. 그렇지 않으면 공유 코드의 변경으로 인해 영향을 받을 수 있는 100개 이상의 다른 모델들에 대한 잠재적인 회귀(regressions) 테스트에 시간을 할애해야 합니다.

RTX 5090, Q4_k: 버전 / 모드 텍스트 청크 크기 최대 VRAM 평균 워밍업 RTF 전체 CUDA 512 26,990 MiB 0.195 CPU-weight offload with staged release 512 9,680 MiB 0.484 CPU-weight offload with staged release 256 7,782 MiB 0.521 전체 Vulkan 512 27,234 MiB 0.247 CPU-weight offload with staged release, Vulkan 512 12,470 MiB 0.601 CPU-weight offload with staged release, Vulkan 256 12,474 MiB 0.635 submitted by /u/Acceptable-Cycle4645 [link] [comments]