microsoft/VibeVoice-ASR-BitNet
요약
VibeVoice-ASR-BitNet은 엣지 CPU에서 실시간 추론이 가능하도록 최적화된 ASR 모델입니다. 이질적 양자화를 통해 모델 크기를 약 1/3로 압축했으며, Whisper.cpp 대비 최대 2.3배 빠른 성능을 보여줍니다.
핵심 포인트
- 이질적 양자화로 모델 크기를 4.62GB에서 1.58GB로 압축
- GPU 없이 엣지 CPU 환경에서 실시간 추론(RTF < 1) 가능
- Whisper.cpp 대비 1.6~2.3배 빠른 추론 속도 달성
- 단 3개의 CPU 스레드만으로 효율적인 연산 수행
VibeVoice-ASR-BitNet은 GPU 없이도 엣지 CPU (edge CPUs)에서 실시간 추론 (real-time inference)을 수행할 수 있도록 최적화된 VibeVoice-ASR의 압축 변형 모델입니다. 이질적 양자화 (heterogeneous quantization)를 통해 모델 크기를 4.62 GB에서 1.58 GB로 압축하였으며, 단 3개의 CPU 스레드만으로도 Whisper.cpp보다 1.6~2.3배 빠른 추론 속도와 실시간 성능 (RTF < 1)을 달성했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0