Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
vLLMAI 번역헤드라인
# v0.31.0 ## 주요 변경 사항 (Highlights) 이번 릴리스에는 307명의 기여자로부터 717개의 커밋이 포함되었으며, 이 중 9
vLLM의 v0.31.0 릴리스는 DeepSeek-V4.1-Flash 성능 향상과 시스템 안정성 개선에 초점을 맞췄습니다. SM100 기반으로 FlashMLA 메가 어텐션, Mega-Gate 등 최신 아키텍처를 통합했으며, 가중치 캐시 데몬을 통한 빠른 재시작 기능 및 엔진 스냅샷 기능을 추가하여 운영 효율성을 높였습니다.
10월 7일0
vLLMAI 번역헤드라인
# v0.30.0 ## 주요 변경 사항 (Highlights) 이번 릴리스에는 315명의 기여자(신규 104명 포함)가 참여하여 총 762개의
vLLM의 v0.30.0 릴리스는 대규모 모델 지원 및 성능 최적화에 초점을 맞췄습니다. DeepSeek-V4.1-Flash, GLM-5.3-Flash 등 다양한 신규 모델을 지원하며, FlashMLA V4.1 레코드와 같은 고급 기술을 도입했습니다. 또한, GPU 가중치 캐시 데몬을 통해 엔진 재시작 시 로딩 시간을 획기적으로 단축하는 'Fast Start' 기능을 추가했습니다.
10월 6일1
vLLMAI 번역헤드라인
다른 탭이나 창에서 로그인했습니다
이 내용은 애플리케이션의 세션 관리 및 사용자 인증과 관련된 일반적인 시스템 알림 메시지입니다. 다른 탭이나 창에서의 로그인, 로그아웃, 계정 전환 등의 이벤트가 발생했음을 알려주며, 사용자가 최신 상태를 유지하기 위해 페이지를 새로고침하도록 안내합니다.
9월 29일1
vLLMAI 번역헤드라인
proto-v0.2.0: vllm-proto 0.2.0
제공된 본문은 기술 기사라기보다는 웹 애플리케이션의 세션 관리 관련 안내 메시지(로그인, 로그아웃, 계정 전환 등)를 담고 있습니다. 따라서 특정 기술적 내용을 분석하기 어렵습니다.
9월 16일1
vLLMAI 번역헤드라인
CUDA 12.9/13.0 (두 아키텍처 모두) 을 사용하는 4 개의 Ubuntu 22.04 릴리스 이미지 빌드가 약 30 분 동안 멈추거나 간
CUDA 12.9/13.0을 사용하는 Ubuntu 22.04 기반의 Docker 이미지 빌드 과정에서, `add-apt-repository ppa:deadsnakes/ppa`가 Launchpad REST API 호출 실패(타임아웃)로 인해 중단되거나 간헐적으로 실패하는 문제가 발생했습니다. 이 문제를 해결하기 위해, 불안정한 외부 API 호출을 우회하고 안정적인 미러를 사용하는 방식으로 Dockerfile의 apt 소스 추가 방식을 수정할 것을 제안합니다.
5월 1일9
vLLMAI 번역헤드라인
v0.19.0rc0: [Feat][v1] 간단하면서도 일반적인 CPU KV 캐시 오프로딩(#37160)
이 기술 기사는 v0.19.0rc0 버전에서 도입된 CPU KV Cache Offloading 기능을 소개합니다. 이 기능은 간단하면서도 범용적으로 사용 가능하며, 모델의 추론 과정에서 발생하는 키-값(KV) 캐시를 CPU 메모리로 오프로드하여 효율성을 높이는 것을 목표로 합니다. 이는 특히 리소스 제약이 있거나 최적화가 필요한 환경에서 성능 향상에 기여할 것으로 기대됩니다.
4월 27일9
vLLM중요헤드라인
v0.18.1
vLLM의 v0.18.1 버전은 v0.18.0을 기반으로 여러 중요한 버그를 수정한 패치 릴리스입니다. 이 업데이트는 SM100 MLA 프리필 백엔드를 TRT-LLM으로 복구하고, Python <= 3.10 환경에서 발생하는 `mock.patch` 관련 문제를 해결했습니다. 또한, Qwen3.5 FP8 모델의 Blackwell 아키텍처에서의 DeepGemm E8M0 정확도 저하를 수정하는 등 성능 및 안정성 개선에 초점을 맞추고 있습니다.
4월 23일11
vLLM중요헤드라인
vLLM v0.19.0: Gemma 4 지원 및 성능 대폭 개선 하이라이트
vLLM v0.19.0 버전은 Google의 최신 모델인 Gemma 4를 완벽하게 지원하며, MoE(Mixture-of-Experts), 멀티모달, 추론 및 도구 사용 기능을 포함합니다. 주요 개선 사항으로는 'Zero-bubble async scheduling'과 결합된 Speculative Decoding을 통한 처리량(throughput) 대폭 향상, Model Runner V2의 기능 강화(CUDA Graphs, 스트리밍 입력 지원 등), 그리고 일반적인 CPU KV Cache Offloading 메커니즘 도입이 있습니다.
4월 23일55
vLLM중요헤드라인
v0.19.1
vLLM의 v0.19.1 패치 버전은 핵심 라이브러리인 Transformers를 v5.5.3으로 업그레이드하고, 특히 Gemma 4 모델 사용 시 발생하는 다양한 버그들을 집중적으로 수정했습니다. 주요 개선 사항으로는 Gemma 4 스트리밍 도구 호출 관련 JSON 파싱 오류 해결, HTML 중복 문제 방지, 그리고 양자화된 MoE(Mixture-of-Experts) 지원 추가가 포함됩니다. 개발자는 이 업데이트를 통해 안정성을 높이고 최신 모델 아키텍처에 대한 호환성을 확보할 수 있습니다.
4월 23일9