v0.19.1

요약

vLLM의 v0.19.1 패치 버전은 핵심 라이브러리인 Transformers를 v5.5.3으로 업그레이드하고, 특히 Gemma 4 모델 사용 시 발생하는 다양한 버그들을 집중적으로 수정했습니다. 주요 개선 사항으로는 Gemma 4 스트리밍 도구 호출 관련 JSON 파싱 오류 해결, HTML 중복 문제 방지, 그리고 양자화된 MoE(Mixture-of-Experts) 지원 추가가 포함됩니다. 개발자는 이 업데이트를 통해 안정성을 높이고 최신 모델 아키텍처에 대한 호환성을 확보할 수 있습니다.

핵심 포인트

• Transformers 라이브러리가 v5.5.3으로 업그레이드되어 전반적인 호환성과 기능이 개선되었습니다.
• Gemma 4 사용 시 스트리밍 도구 호출의 JSON 파싱 오류, HTML 중복 등 여러 버그가 수정되어 안정성이 크게 향상되었습니다.
• Gemma 4 모델에 대한 양자화된 MoE(Mixture-of-Experts) 지원 및 Eagle3 지원이 추가되었습니다.