Intel LLM-Scaler-vLLM PV 1.5로 큰 개선 사항 제공

INTEL

이것은 Arc Graphics를 활용하고 Crescent Island Intel GPU D Series에 앞서 출시된 패키징된 vLLM 소프트웨어 스택의 중요한 업데이트입니다. 이 v1.5 릴리스를 통해 vLLM 0.14에서 vLLM 0.26까지 대폭 점프했습니다. 상당한 버전 도약이며, 현재 업스트림(upstream) 상태인 vLLM 0.31에 더 가까워졌습니다. 물론 아직은 뒤처져 있습니다.

vLLM 0.14에서 0.26으로의 도약 외에도, 이 Docker 설정으로 PyTorch는 v2.10에서 v2.12로 점프했습니다. LLM 지원도 개선되어 더 많은 Qwen 모델(Qwen3.6-27B, Qwen3.8-27B, 그리고 Qwen3.6-35B-A3B)이 작동하며, 더 많은 Gemma 모델(gemma-4-26B-A4B-it 및 gemma-4-31B-it)을 지원하고, 온라인 FP8 및 대칭 INT4 양자화도 이제 지원합니다. FP8 KV 캐시도 이제 지원됩니다.

Intel 소프트웨어 스택은 또한 Qwen 및 Gemma 4 모델에 대한 더 빠른 첫 토큰 생성 시간(time-to-first-token), 개선된 MTP 디코딩 성능, 그리고 향상된 LoRA 서비스 및 FP8 KV 캐시 성능을 보였습니다.

GitHub에서 확인할 수 있는 버그 수정 사항들이 이번 새로운 Intel 소프트웨어 릴리스를 완성합니다.