DeepSeek의 오픈소스 DeepInfer: vLLM 포크이자 흥미로운 부분

요약

DeepSeek이 프로덕션 추론 엔진인 DeepInfer를 오픈소스로 공개했습니다. 이 프레임워크는 vLLM을 기반으로 하며, NVIDIA SM100 GPU와 Huawei Ascend 950 NPU 등 다양한 가속기에서 DeepSeek 모델 구동을 목표로 합니다. 특히 배치 불변성(Batch-invariant inference)과 구조화된 출력 기능 등을 강조하며 개발자들의 주목을 받고 있습니다.

핵심 포인트

• vLLM 기반의 추론 엔진으로, DeepSeek 커널 스택이 통합됨.
• NVIDIA GPU와 Huawei NPU 등 다양한 하드웨어 가속기를 지원함.
• 배치 불변성(Batch-invariant inference) 기능을 제공하여 출력 안정성을 높임.
• 구조화된 출력(JSON, Regex 등) 기능과 MoE 전문가 병렬 처리를 포함함.