vLLM, 배치 크기 8부터 256까지 DeepSeek의 디코드 구성을 통해 DeepSeek 자체 엔진인 DeepInfer와

요약

vLLM이 DeepSeek의 오픈 소스 커널을 통합하고 최적화하여, 배치 크기 8부터 256까지 DeepInfer와 성능을 일치시켰습니다. 특히 GB300 NVL72 랙 환경에서 P/D 분리 및 Wide-EP를 활용한 vLLM은 높은 처리량(954K 토큰/초)을 달성하며 추론 효율성을 입증했습니다.

핵심 포인트

• vLLM이 DeepSeek 커널 통합 및 최적화를 통해 성능 향상을 이룸.
• 배치 크기 8~256까지 DeepInfer와 동등한 수준의 성능 달성.
• GB300 NVL72 환경에서 P/D 분리(disaggregation) 기법 활용.
• 최대 954K 토큰/초의 높은 처리량으로 효율성을 입증함.