v0.20.0
요약
vLLM의 v0.20.0 버전이 DeepSeek V4 모델 초기 지원을 포함하여 주요 업데이트를 발표했습니다. 이번 릴리스에서는 CUDA 13.0을 기본으로 채택하고, PyTorch 버전을 2.11로 업그레이드하는 등 중요한 기술 스택 변화가 이루어졌습니다. 개발자들은 최신 하드웨어 및 프레임워크 환경에 맞춰 vLLM을 활용할 수 있게 되었습니다.
핵심 포인트
- DeepSeek V4 모델의 초기 지원이 추가되어 다양한 LLM과의 호환성이 높아졌습니다.
- 기본 CUDA 버전이 13.0으로 업그레이드되었으며, 이는 최신 GPU 환경에 맞춘 변화입니다.
- PyTorch가 2.11로 업데이트되어 vLLM의 핵심 프레임워크 기반이 강화되었습니다.
- 사용자는 기존 CUDA 12.9 사용 시 `uv`와 `--torch-backend=cu129` 옵션을 사용하여 호환성을 유지할 수 있습니다.
vLLM v0.20.0 하이라이트 — 320명 기여자의 752개 커밋 (신규 123명)
- DeepSeek V4: 초기 지원, DSML 토큰 누출 수정, DSA + MTP IMA 수정
- CUDA 13.0 기본: PyPI 및 Docker 이미지에서 CUDA 13.0으로 전환. PyTorch의 CUDA 버전 정책을 따름. CUDA 12.9 사용자는 uv와 --torch-backend=cu129 사용 권장
- PyTorch 2.11 업그레이드: vLLM이 CUDA용 torch 2.11로 출시, XPU도 torch 2.11 지원
AI 자동 생성 콘텐츠
본 콘텐츠는 vLLM Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기13