vLLM v0.19.0: Gemma 4 지원 및 성능 대폭 개선 하이라이트

요약

vLLM v0.19.0 버전은 Google의 최신 모델인 Gemma 4를 완벽하게 지원하며, MoE(Mixture-of-Experts), 멀티모달, 추론 및 도구 사용 기능을 포함합니다. 주요 개선 사항으로는 'Zero-bubble async scheduling'과 결합된 Speculative Decoding을 통한 처리량(throughput) 대폭 향상, Model Runner V2의 기능 강화(CUDA Graphs, 스트리밍 입력 지원 등), 그리고 일반적인 CPU KV Cache Offloading 메커니즘 도입이 있습니다.

핵심 포인트

• Gemma 4 모델을 완벽하게 지원하며, MoE 및 멀티모달 기능을 포함하여 최신 LLM 아키텍처를 포괄적으로 처리합니다.
• Zero-bubble async scheduling과 Speculative Decoding의 결합으로 처리량이 크게 향상되었으며, 이는 시스템 효율성을 극대화합니다.
• Model Runner V2가 CUDA Graphs 지원 및 스트리밍 입력 기능을 강화하여 파이프라인 병렬성(pipeline parallelism)을 개선했습니다.
• 일반적인 CPU KV Cache Offloading 메커니즘이 도입되어 메모리 관리의 유연성과 범용성을 높였습니다.