전문가 병렬(Expert-Parallel) MoE 서빙을 위한 단계별 부하 균형 엔진

요약

전문가 병렬 MoE 서빙 환경에서 발생하는 지연자(stragglers)로 인한 GPU 자원 낭비 문제를 해결하기 위해 'Relief' 엔진을 제안합니다. Relief는 복잡한 선형 계획법 대신 쌍별 완화 기법을 사용하여 단계별 최적점 근처의 부하 균형을 달성했습니다. 이 엔진은 CUDA 커널, FPGA, 고정 기능 블록 등 다양한 환경에서 높은 성능을 입증하며 효율성을 높였습니다.

핵심 포인트

• MoE 서빙 시 지연자 대기 시간으로 인한 GPU 자원 낭비가 주요 문제임.
• Relief는 쌍별 완화 기법으로 복잡한 최적화를 단순화하여 부하 균형을 맞춤.
• 커널만으로도 기존 방식과 동등하거나 그 이상의 성능(100µs)을 보장함.
• 온디바이스 엔진은 최소 트랜지스터 추가로 최대 37.3%p의 성능 회복을 보여줌.