ELDR: PD-분리형 MoE 서빙을 위한 전문가 지역성 인식 디코딩 라우팅 (Expert-Locality-Aware Decode

요약

PD-분리형 MoE 서빙 최적화를 위한 전문가 지역성 인식 디코딩 라우팅 기술인 ELDR를 소개합니다. 프리필 단계의 전문가 시그니처를 활용해 디코딩 요청을 라우팅함으로써 vLLM 환경에서 TPOT을 최대 13.9% 절감합니다.

핵심 포인트

• PD-분리형 MoE 서빙 최적화 기술 제안
• 프리필 단계의 전문가 시그니처 기반 라우팅 활용
• vLLM 환경에서 중앙값 TPOT 5.9–13.9% 절감