-
새로운 모델: Reflection Beam-1.0 (501B MoE, 23B active)과 그 DFlash2 drafter (#62074), Yandex AliceAI-Foundation-80B-A3B (#57963), Recursive Flint (40B MoE, 2.5B active) (#62938), Muse Spark Open (#61879), Step-5 Preview (#61727, #63147), NVIDIA Alpamayo 2 Super (#62957), Nemotron-Labs Dory1.0-4B (#60149), Nemotron Parse 3.5 (#61651), MiniCPM-OCR 1.0 (#63095), Domyn Edge (#62544) 및 ColUltraVBERT 시각 문서 검색기 (#62237).
-
PyTorch 2.14: vLLM이 torchvision 0.29.0 및 Triton 3.8.0을 포함하여 PyTorch 2.14.0으로 업그레이드되었습니다 (#52183).
-
CUDA 12.9 제외: 릴리스 휠과 이미지는 CUDA 13.0만 지원합니다. CUDA 12.9 휠 및 -cu129 / -cu129-ubuntu2404 이미지는 더 이상 게시되지 않습니다 (#62575); 대신 기본 CUDA 13.0 아티팩트를 사용하십시오.
-
libtorch와 ABI 안정적인 CUDA 휠: 이제 CUDA 휠이 libtorch와 ABI 안정적입니다.
-
AWS EFA 이미지: 새로운 vllm/vllm-openai:v0.33.0-efa 이미지(x86_64 및 aarch64)가 AWS EFA 라이브러리와 Mooncake 전송 엔진의 EFA 빌드를 묶어, EFA 지원 EC2 인스턴스에서 KV 전송 및 다중 노드 서비스에 사용됩니다 (#58768).
-
vllm/vllm 이미지 별칭: 모든 릴리스 이미지가 이제 더 짧은 이름인 vllm/vllm 아래에도 게시됩니다. 예: vllm/vllm:v0.33.0, vllm/vllm:v0.33.0-efa 및 vllm/vllm:v0.33.0-rocm.
-
추측 디코딩 (Speculative decoding): DFlash 및 DSpark와 같은 블록 확산 드래프터(block-diffusion drafters)를 위한 새로운 XPress 리파이너(#54448); MI355X 및 B300에서 1.04~1.31배의 디코드 처리량(decode throughput)을 갖는 선택적 손실 검증 정책인 FLy(#53987); DFlash/DSpark가 토큰 예산에서 더 이상 드래프트 슬롯(draft slots)을 예약하지 않아, PR의 벤치마크에서 GB300 기반 DeepSeek-V4.1-Flash + DSpark의 출력 tok/s가 1373에서 3390으로 증가(#59468); 양자화된 드래프트 lm_head (draft_lm_head_quantization, 동시성 1에서 디코드 +18%) (#59973); lookahead 블록 해시를 통해 EAGLE/MTP 프리픽스 캐시 히트가 마지막 블록을 유지하도록 기본 활성화(#61589); 그리고 Transformers 모델링 백엔드에서의 MTP 드래프트(#61270).
-
NVIDIA에서의 더 빠른 디코드: Kimi-K3의 GB300용 선택적 지연 시간 특화 디코드(latency-specialized decode) (TP8/TP16에서 1.52배, #61867) 및 DeepSeek-V4.1-Flash (배치 1에서 디코드 단계가 18.3% 빠름, #61868); DeepSeek-V4/V4.1 MXFP4 전문가(experts)를 Hopper의 Humming에서 블록 FP8로 실행 (+4x H200에서 디코드 921% 증가, #61875); Blackwell에서의 FA4 희소 MLA(sparse MLA) 디코드(#55866); 8xB200에서 100k 입력 시 평균 TTFT가 39~48% 낮은 trtllm-gen에서의 FlashInfer DCP 프리필(#62029); 그리고 MRV2 프리필 컨텍스트 병렬 처리 하의 디코드 전용 전체 CUDA 그래프 (eager 대비 2.6배, #62377).
-
AMD ROCm: 기본 ROCm 이미지와 휠(wheels)이 ROCm 10.0으로 이동했으며, ROCm 7.2는 여전히 "-rocm72"로 게시됩니다(#58761); DeepSeek-V4.1-Flash를 MI300X/MI325X에서 --monokernel을 통한 MonoKernel 디코딩(동시성 1 기준 P50 상호작용성 대비 2.32배, #60731) 및 모든 MI355X 레이어(#61082)에서, 그리고 MiniMax-M3-MXFP4를 MI355X에 적용하여 (TPOT 16.6% 감소, #62712, #62994); ROCM_OCTAVE 3~4비트 KV 캐시(RX 7900 XTX의 fp16 대비 4.6배 많은 KV 토큰, #59774); 그리고 gpt-oss-120b, DeepSeek-R1, DeepSeek-V4-Flash 및 MiniMax-M3에 대한 gfx1250 활성화(#58800).
-
API 및 서빙: 지원되는 생성 모델의 기본 엔드포인트인 OpenAI 호환 /v1/decisions 엔드포인트(#60465, #61550); /v1/embeddings에서 선택적 지연 청킹(late chunking)이 가능한 토큰 임베딩(#61772, #63051, #60164); /inference/v1/generate에서 `output_mode=
-
파괴적 변경 사항(Breaking changes): Medusa 및 MLP speculator가 제거되었습니다 (#61701); 레거시 Ray compiled-graph executor가 제거되었습니다 (#61712, #62228); --mamba-cache-mode가 사용 중단되었습니다 (#60043); 생성(generation)이 일시 중지된 동안 전송되는 요청은 이제 HTTP 503을 받습니다 (#51488); NIXL 커넥터는 NIXL 1.5 이상이 필요합니다 (#61032); LM Format Enforcer와 --ir-op-priority가 사용 중단되었습니다 (#63423, #63371).