v0.32.0

주요 변경 사항

이번 릴리스는 363명의 기여자(신규 121명 포함)로부터 온 814개의 커밋을 특징으로 합니다!

• 구조화된 결정 및 범용 파서 (Structured decisions and generic parsers): 새로운 POST /v1/systemone 엔드포인트는 구조화된 상태에 대한 choice, noul, 그리고 score 질문에 답변합니다 (#59299). 이는 기본적으로 제공되며 (#60677, #60696) 또한 Cloudflare/clef-omni (#61064), LiquidAI/d1-3B (#60676) 및 DiffusionGemma (#60466)에서도 실행됩니다. 새로운 hf 도구와 추론 파서(--tool-call-parser hf, --reasoning-parser hf)는 체크포인트의 response_template을 읽기 때문에, 해당 템플릿을 사용하는 모델은 Python 및 Rust 프런트엔드 모두에서 모델별 파서를 필요로 하지 않습니다 (#58604, #58602).

• 저정밀도 KV 캐시 전방위 적용: NVFP4 KV 캐시는 이제 SM8x 및 SM12x ([#46963]...), SM90 ([#60620])에서 실행되며, SM12x의 XQA 디코드 ([#60452]...)와 SM100에서의 MiniMax-M3 희소 어텐션 ([#59300]...)에서도 사용 가능합니다. GLM-5.x는 SM100에서 기본적으로 FP8 KV 캐시를 사용하여, PR의 벤치마크([#60140], [#60281])에서 순위당(per rank) KV 메모리를 절반으로 줄이고 처리량은 2.3-5.5% 증가시키면서 TTFT 비용은 7-11% 발생합니다. SM90의 fp8_ds_mla는 GLM-5.3-Flash에서 최대 31% 더 높은 출력 처리량을 제공합니다 ([#59246]...). ROCm은 FP8 대비 약 2배의 밀도를 가진 4비트 ultraquant_4bit KV 캐시를 추가했습니다 ([#57057]).

• Model Runner V2: 가변 길이 초안(variable-length drafts)을 가진 GPU n-gram 추측기 ([#40704]...), Elastic EP ([#53934]...), MLA 모델용 프리필 컨텍스트 병렬 처리를 갖춘 파이프라인 병렬 처리 ([#59139]...), 표준 torch.compile 모드 ([#59079]...)를 포함하며, MRV2는 이제 모델별 MRV1 예외가 제거된 ROCm의 기본값이 되었습니다 ([#56360]).

• 더 빠른 시작 및 서빙(Faster startup and serving): vllm download-kernels는 FlashInfer의 사전 컴파일된 커널을 설치하며 ([#58765]...), vllm preload --preload-autotune은 재시작 시에도 FlashInfer autotune 테이블을 따뜻하게 유지합니다 ([#60085]...). 또한, 공유 메모리 텐서 아레나(shared-memory tensor arena)는 대규모 멀티모달 텐서를 워커들에게 하나의 복사본으로 브로드캐스트하며 ([#51207]...), 토크나이저와 프로세서는 로컬 스냅샷에서 로드됩니다 ([#60825]...). 마지막으로, --api-server-count가 1보다 클 경우 각 연결은 가장 부하가 적은 API 워커로 이동하며, 이는 PR의 벤치마크([#60723]...)에서 짧은 요청(Qwen3-0.6B, 입력 32 / 출력 1 토큰)에 대해 43~85% 더 많은 req/s를 달성합니다.

• 모델 지원(Model support): 새로운 EmbeddingGemma 2 omni-modal 임베딩 ([#60254]...), MiniCPM-V 4.7 ([#58674]), Nemotron 3.5 ASR ([#59827])을 지원합니다; Transformers 모델링 백엔드에서 비디오 입력([#57441]...); GLM-5.3의 레이어 전반에 걸친 희소 MLA 인덱스 변환 재사용(해당 커널에서 3.5~3.9배 증가, [#59464]...) 및 통합된 다단계 초안 디코딩(동시성 1에서 13.3% 증가, [#57443]...); 높은 동시성 환경에서 긴 GPU 상주 컨텍스트를 가진 B200에서의 GLM-5.3-NVFP4에 대한 HiSparse 요청별 체류 캐싱을 통해 최대 58% 더 많은 처리량(throughput)을 제공합니다 ([#60083]...).

• 보안(Security): GHSA-4hhp-h66f-j5j7 (채팅 템플릿 리소스 고갈, #50300), GHSA-q97c-p368-75c4 (토크나이저 max_token_id, #59491) 및 GHSA-frvg-qw88-hww9 (P2P ZMQ 소켓 고갈, #51504); CORS가 더 이상 기본적으로 모든 오리진을 허용하지 않음(#61009); 신뢰할 수 없는 이미지는 래스터 형식으로 제한됨(#60022); 공유 메모리 멀티모달 캐시 핸들(shared-memory multimodal cache handles)에 서명이 적용됨(#59357); 그리고 64 레벨보다 깊게 중첩된 JSON 스키마는 거부됨(#60036).

• 주요 변경 사항(Breaking changes): Python 3.10 지원 제외(#60402); 기본 CORS 오리진 제한됨(#61009); transformers>=5.16.1,<5.20.0 및 tokenizers>=0.23.2 사용 필요(#57387, #59796); torch.compile 시퀀스 병렬 처리(sequence parallelism) 및 AsyncTP 패스가 제거됨(#60517); 캐스케이드 어텐션(cascade attention)이 제거됨(#61126); `mamba_cache_mode=

릴리스 아티팩트 (Release Artifacts)

파이썬 휠 (Python Wheels)

도커 이미지 (Docker Images)

기타 아티팩트 (Other Artifacts)

미리 빌드된 릴리스 아티팩트는 이 페이지 하단의 Assets 섹션에서 다음을 포함하여 이용할 수 있습니다:

• 소스 배포용 tarball
• x86_64 및 arm64용 CUDA 12.9 파이썬 휠
• x86_64 및 arm64용 CUDA 13.0 파이썬 휠
• x86_64, arm64, 및 macOS용 CPU 파이썬 휠
• x86_64용 XPU 파이썬 휠

모델 지원 (Model Support)