Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
MoE 추론 시 발생하는 라우팅 분포 왜곡 문제를 해결하기 위한 분포 인식 프레임워크와 DA-MoE 런타임을 제안합니다. 실시간 라우팅 히스토그램을 활용해 최적의 fused-MoE 커널을 선택함으로써 DeepSeek-V3 등에서 추론 지연 시간을 크게 개선했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기Mixture-of-Experts (MoE) 추론은 런타임 라우팅 분포(routing distribution)에 따라 형태가 변하는 희소 전문가 GEMM(General Matrix Multiply)으로 구성됩니다. 기존의 서빙 시스템은 타일 패딩(tile padding), 메모리 재사용 및 커널 효율성을 결정하는 전문가별 라우팅 분포를 무시한 채, 정적인 토큰 수 버킷(token-count buckets)을 사용하여 융합된 MoE(fused-MoE) 커널을 선택하는 것이 일반적입니다. 우리는 MoE 추론을 모델링하고 벤치마킹하기 위한 분포 인식(distribution-aware) 프레임워크를 소개합니다. 이 프레임워크는 컴팩트한 유효 전문가(Effective Experts) 지표와 체계적인 하드웨어 연구를 위해 제어 가능한 라우팅 분포를 생성하는 디리클레(Dirichlet) 기반 역모델링(reverse-modeling) 절차를 결합합니다. 이를 통해 우리는 최적의 fused-MoE 커널이 라우팅 왜곡(routing skew)과 토큰 수에 따라 변한다는 것을 보여줍니다. 나아가 우리는 NVIDIA GPU를 위한 GPU 상주형 커널 디스패치 런타임인 DA-MoE를 제시합니다. DA-MoE는 실시간 라우팅 히스토그램을 오프라인으로 튜닝된 분포에 맞추고, CPU-GPU 동기화 없이 최적에 가까운 fused-MoE 커널을 선택합니다. HumanEval-X 서빙 트레이스에서 DA-MoE는 DeepSeek-V3에서 fused-MoE 기하 평균 지연 시간(geomean latency)을 1.16배, Kimi K2에서 1.29배 개선하였으며, 최대 속도 향상은 각각 1.40배와 1.56배를 기록했습니다.