대규모 언어 모델 (LLM) 추론 작업을 효율적으로 서비스하는 것은 첫 번째 토큰 생성 시간 (TTFT, Time-to-First-Token)과 같은 사용자 체감 지연 시간(latency)과 GPU 활용도 측면 모두에서 매우 중요합니다. 그러나 각 추론 요청을 GPU 인스턴스에 할당하는 LLM 요청 라우팅 (request routing)은 특히 까다롭습니다. 실행 과정이 입력값에 크게 의존하며, 배치 (batching) 및 KV-캐시 (KV-cache) 재사용은 요청 간의 강력한 결합을 생성하고, 지연 시간은 컨텍스트 길이 (context length), 모델/엔진 설정, 그리고 이기종 가속기 (heterogeneous accelerators)에 따라 비선형적으로 반응하기 때문입니다. 그 결과, 단순한 전통적 부하 분산 (load balancing) 알고리즘이나 LLM 추론에 맞춤화된 휴리스틱 (heuristics)조차도 좋은 성능을 달성하는 데 실패합니다.

우리는 분산 GPU 클러스터를 위한 새로운 학습 기반 요청 라우팅 시스템인 Lodestar를 선보입니다. Lodestar는 실시간 인스턴스 상태, 요청 특성, 관찰된 성능을 포함하여 요청 단위로 클러스터의 스냅샷을 지속적으로 수집하며, 주어진 보상(예: TTFT 최소화)을 최대화할 인스턴스로 추론 요청을 라우팅하는 데 사용하는 온라인 보상 예측기 (online reward predictor)를 학습합니다. Lodestar는 클라우드 네이티브 (cloud-native)이며 기존 서빙 스택 (vLLM)과 원활하게 작동합니다. 변화하는 워크로드 및 인프라 조건에 대한 지속적인 온라인 적응을 통해, Lodestar는 퍼블릭 클라우드 GPU 클러스터에서의 실험을 바탕으로 최신 프리픽스 캐시 (prefix cache) 및 부하 인지 휴리스틱 (load-aware heuristic)과 비교했을 때 평균 1.41배 낮은 평균 TTFT와 평균 1.47배 낮은 P99 TTFT를 달성하였으며 (동종 클러스터에서는 최대 2.15x/1.86x, 이기종 클러스터에서는 최대 4.38x/4.42x), 약 5분 이내에 이러한 효율적인 라우팅 전략을 학습합니다.