ELDR: PD-분리형 MoE 서빙을 위한 전문가 지역성 인식 디코딩 라우팅 (Expert-Locality-Aware Decode

요약

PD-분리형 MoE 서빙 시 전문가 지역성을 고려하여 지연 시간을 줄이는 ELDR 라우팅 기법을 제안합니다. Prefill 단계의 전문가 활성화를 바탕으로 생성 단계의 전문가를 예측하여 최적의 워커에 요청을 할당합니다.

핵심 포인트

• PD-분리형 환경에서 전문가 지역성을 고려한 ELDR 라우터 제안
• 전문가 시그니처를 구축하여 생성 과정 중 활성화될 전문가 예측
• K-means 기반 시그니처 공간 분할 및 지역성 대역 라우팅 적용
• vLLM 구현 결과, 기존 베이스라인 대비 TPOT를 최대 13.9% 감소