쿠버네티스는 이것을 위해 만들어지지 않았다.

요약

LLM 추론 과정에서 발생하는 KV 캐시 관리 및 상태 유지 문제를 해결하기 위한 기술입니다. llm-d는 vLLM이나 SGLang 같은 엔진을 활용하여 쿠버네티스에 스마트 라우팅, KV 캐시 관리 기능을 추가합니다. 이를 통해 대규모 LLM 추론의 효율성과 속도를 획기적으로 개선하는 것이 목표입니다.

핵심 포인트

• LLM은 일반 웹 서비스와 달리 상태(KV 캐시) 관리가 필수적이다.
• llm-d는 K8s에 스마트 라우팅 및 KV 캐시 관리 기능을 제공한다.
• CPU/디스크 오프로딩과 prefill/decode 분리 기능으로 효율을 높인다.
• 대규모 LLM 추론의 성능 최적화에 초점을 맞춘 기술이다.