오픈소스 분산 추론 스택 llm-d 1.0 출시(Red Hat·IBM·Google): 멀티테넌트 QoS, 무중단 업데이트 및 에이전트 라우팅

요약

Red Hat, IBM, Google이 주도한 오픈소스 분산 추론 스택 llm-d 1.0이 출시되었습니다. 이 Kubernetes 네이티브 스택은 멀티테넌트 QoS, 무중단 업데이트 및 에이전트 라우팅 기능을 제공합니다. 이를 통해 기업들은 자체 호스팅 환경에서 LLM을 효율적이고 안정적으로 운영할 수 있습니다.

핵심 포인트

• llm-d 1.0은 오픈소스 분산 추론 스택입니다.
• Kubernetes 네이티브로 설계되어 높은 안정성을 제공합니다.
• 멀티테넌트 QoS 및 무중단 업데이트 기능을 지원합니다.
• 자체 호스팅 시 API 대비 비용 절감 효과가 큽니다.