llm-d: vLLM 및 SGLang과 같은 모델 서버 위에 지능형 라우팅, KV-cache 관리 및 오토스케일링을 추가하는

요약

llm-d는 vLLM 및 SGLang 기반의 Kubernetes 네이티브 추론 서빙 스택입니다. 지능형 라우팅, KV-cache 관리, 오토스케일링 기능을 통해 LLM 추론 성능을 극대화합니다.

핵심 포인트

• Prefix-cache-aware 라우팅으로 처리량 3배 및 TTFT 2배 개선
• 계층적 KV-cache 오프로딩을 통한 멀티턴 워킹 셋 지원
• Prefill/decode 분리로 초당 토큰 수 최대 70% 향상
• 실시간 추론 신호 기반의 SLO-aware 오토스케일링 제공