GH Trending릴리즈2026. 05. 09. 06:34

vllm-project/vllm-ascend

요약

vLLM Ascend는 vLLM 프레임워크를 Huawei의 Ascend NPU 하드웨어에 원활하게 통합하기 위해 설계된 커뮤니티 유지 관리 하드웨어 플러그인입니다. 이 플러그인을 사용하면 Transformer, MoE, 멀티모달 등 다양한 최신 오픈소스 LLM 모델을 Ascend NPU 환경에서 효율적으로 실행할 수 있습니다. 프로젝트는 공식 가이드라인과 지속적인 업데이트를 통해 안정성을 확보하고 있으며, 사용자 기여와 협력을 적극적으로 환영합니다.

핵심 포인트

vLLM Ascend는 vLLM의 기능을 Huawei Ascend NPU에 확장하는 하드웨어 플러그인입니다.
이 플러그인은 MoE(Mixture-of-Experts) 및 멀티모달 LLM 등 다양한 최신 모델을 지원합니다.
사용 환경은 Linux OS, CANN 8.5.1, PyTorch 2.9.0 등 특정 소프트웨어 스택을 요구합니다.
프로젝트는 공식 가이드라인과 정기적인 버전 업데이트를 통해 안정성을 유지하고 있습니다.

About Ascend | Documentation | #SIG-Ascend | Users Forum | Weekly Meeting

English | 中文

Latest News 🔥

[2026/05] vLLM Ascend 플러그인 (vLLM Ascend Plugin) 을 Ascend 에서 시작하기 위해 공식 가이드를 따라주세요. 새로운 공식 버전 v0.18.0 을 출시했습니다!
[2026/02] vLLM Ascend 플러그인 (vLLM Ascend Plugin) 을 Ascend 에서 시작하기 위해 공식 가이드를 따라주세요. 새로운 공식 버전 v0.13.0 을 출시했습니다!
[2025/12] vLLM Ascend 플러그인 (vLLM Ascend Plugin) 을 Ascend 에서 시작하기 위해 공식 가이드를 따라주세요. 새로운 공식 버전 v0.11.0 을 출시했습니다!
[2025/09] 대규모 전문가 병렬성 (Expert Parallelism, EP) 을 Ascend 에서 배포하기 위한 공식 가이드를 따라주세요. 새로운 공식 버전 v0.9.1 을 출시했습니다!
[2025/08] vLLM 와 Tencent 와 함께 Beijing Meetup 을 개최했습니다! 슬라이드를 여기에서 확인하세요.
[2025/06] 사용자 스토리 페이지가 이제 라이브입니다! LLaMA-Factory/verl/TRL/GPUStack 으로 시작하여 vLLM Ascend 가 Fine-tuning, Evaluation, 강화학습 (RL), 배포 시나리오 전반에 걸쳐 사용자의 경험을 향상시키는 데 어떻게 도움을 주는지 보여줍니다.
[2025/06] 기여자 페이지가 이제 라이브입니다! 모든 기여는 기록되어야 합니다. 모든 기여자들에게 감사드립니다.
[2025/05] 첫 공식 버전 v0.7.3 을 출시했습니다! vLLM 커뮤니티와 협력하여 Ascend NPU 의 모범 사례를 공유하는 블로그 포스트를 게시했습니다: Ascend NPU 에서의 모범 사례, vLLM 하드웨어 플러그인 소개.
[2025/03] vLLM 팀과 함께 Beijing Meetup 을 개최했습니다! 슬라이드를 여기에서 확인하세요.
[2025/02] vLLM 커뮤니티는 Ascend NPU 에서 vLLM 을 원활하게 실행하기 위해 vllm-project/vllm-ascend 저장소를 공식적으로 생성했습니다.
[2024/12] 우리는 vLLM 커뮤니티와 함께 [RFC]: 하드웨어 플러그블 (Hardware pluggable) 을 지원하고 있습니다.

vLLM Ascend (vllm-ascend) 는 Ascend NPU 에서 vLLM 을 원활하게 실행하기 위한 커뮤니티 유지 관리 하드웨어 플러그인입니다.

이는 vLLM 커뮤니티 내에서 Ascend 백엔드를 지원하는 데 권장되는 접근 방식입니다. [RFC]: 하드웨어 플러그블 (Hardware pluggable) 에 명시된 원칙을 준수하며, Ascend NPU 와 vLLM 의 통합을 분리하는 하드웨어 플러그블 인터페이스를 제공합니다.

vLLM Ascend 플러그인을 사용하면 Transformer-like, Mixture-of-Experts (MoE), Embedding, 멀티모달 LLMs 등 인기 있는 오픈소스 모델은 Ascend NPU 에서 원활하게 실행됩니다.

하드웨어: Atlas 800I A2 Inference 시리즈, Atlas A2 Training 시리즈, Atlas 800I A3 Inference 시리즈, Atlas A3 Training 시리즈, Atlas 300I Duo (실험적)
OS: Linux
소프트웨어:
Python >= 3.10, < 3.12
CANN == 8.5.1 (Ascend HDK 버전은 여기에서 참조)
PyTorch == 2.9.0, torch-npu == 2.9.0
vLLM (vllm-ascend 와 동일한 버전)

빠르게 시작하기 위해 다음 권장 버전을 사용하세요:

버전	릴리스 유형	문서
v0.19.1rc1	최신 릴리스 후보	QuickStart 와 Installation 을 참조하여 자세한 내용을 확인하세요
v0.18.0	최신 안정 버전	QuickStart 와 Installation 을 참조하여 자세한 내용을 확인하세요

CONTRIBUTING 을 참조하여 자세한 내용을 확인하세요. 이는 개발 환경을 설정하고 빌드 및 테스트하는 데 도움이 되는 단계별 가이드입니다.

우리는 모든 기여와 협력을 환영합니다:

버그를 발견하셨다면 이슈를 제출하여 알려주세요
사용 질문과 도움을 위해 User forum 를 사용하세요.

vllm-ascend 는 main 브랜치와 dev 브랜치를 가집니다.

main: vLLM main 브랜치에 해당하며, Ascend CI 를 통해 품질이 지속적으로 모니터링됩니다.releases/vX.Y.Z: vLLM 의 새로운 릴리스와 함께 생성된 개발 브랜치입니다. 예를 들어, releases/v0.13.0 는 vLLM v0.13.0 버전의 dev 브랜치입니다.

아래는 유지 관리 중인 브랜치입니다:

브랜치	상태	주석
main	유지 관리됨	vLLM main 브랜치 및 vLLM v0.18.0 태그의 CI 약속
...

더 자세한 내용은 Versioning policy 를 참조하세요.

vLLM Ascend 주간 회의: https://tinyurl.com/vllm-ascend-meeting
수요일, 15:00 - 16:00 (UTC+8, 시간대를 변환하세요)

Apache License 2.0 으로, LICENSE 파일에서 찾을 수 있습니다.

AI 자동 생성 콘텐츠

원문 바로가기

vllm-project/vllm-ascend

요약

핵심 포인트

댓글