Prefill-decode (PD) 분리형 (disaggregated) LLM 서빙에서, 각 요청은 prefill 이후 decode 워커(worker)에 할당됩니다. 기존의 decode 라우터는 부하(load)만을 균형 있게 조절하지만, Mixture-of-Experts (MoE) 모델의 경우 이는 불완전합니다. 각 decode 단계마다 배치(batch)가 활성화하는 모든 서로 다른 전문가(expert)의 가중치를 로드하기 때문에, 부하가 동일하게 분산된 워커들 사이에서도 지연 시간(latency)이 달라질 수 있기 때문입니다. 우리는 PD-분리형 MoE 서빙을 위한 전문가 지역성 인식(expert-locality-aware) 디코딩 라우터인 ELDR을 제안합니다. ELDR은 요청의 prefill 전문가 활성화(expert activations)를 바탕으로, 생성(generation) 과정 동안 활성화될 전문가를 예측하는 전문가 시그니처(expert signature)를 구축합니다. 오프라인 단계에서는, 균형 잡힌 K-means가 시그니처 공간을 decode 워커들에 걸쳐 분할하며, 온라인 단계에서는 지역성 대역 라우팅(locality-band routing)을 통해 각 요청을 시그니처와 가장 잘 일치하는 워커 중 부하가 가장 적은 워커로 전송합니다. KV-블록(KV-block) 단위로 KV 캐시(KV cache)와 공동 인덱싱된 시그니처 캐시(signature cache)는 접두사 캐싱(prefix caching) 환경에서도 시그니처를 정확하게 유지합니다. vLLM에 구현되어 최대 40개의 GPU 배포 환경에서 평가된 ELDR은, 세 가지 MoE 모델과 두 가지 워크로드에 대해 네 가지 강력한 부하 분산 베이스라인(load-balancing baselines)보다 중앙값 TPOT(Time Per Output Token)를 5.9-13.9% 감소시켰으며, 모델 출력은 변경되지 않았습니다.

arXiv : https://arxiv.org/abs/2607.00466
Full Paper : https://arxiv.org/pdf/2607.00466
MOD들님, 논문 스레드를 위한 별도의 플레어(flair, Paper)를 만들 수 있을까요?
submitted by /u/pmttyji to r/LocalLLaMA
[link] [comments]