GEM: MoE 시스템을 위한 GPU 가변성 인지 전문가-GPU 매핑

요약

MoE(Mixture-of-Experts) 모델의 추론 과정에서 발생하는 GPU 간 성능 불균형과 동기화 장벽 문제를 해결하기 위한 GEM 프레임워크를 제안합니다. GEM은 GPU의 가변성을 인지하여 전문가(experts)를 비균등하게 배치함으로써, 가장 느린 GPU에 의해 전체 처리가 지연되는 병목 현상을 완화합니다. 실험 결과, 기존 방식 대비 엔드투엔드 지연 시간을 최대 16.5%까지 개선하는 성과를 거두었습니다.

핵심 포인트

• MoE 모델의 추론 성능은 가장 느린 GPU(straggler GPU)의 처리 속도에 의해 제한되는 동기화 장벽 문제를 가짐
• 기존 방식은 토큰 부하 균형에만 집중하여 GPU 자체의 성능 가변성을 간과하는 한계가 있음
• GEM은 전문가를 '일관된 전문가'와 '일시적 전문가'로 구분하여 GPU 가변성에 맞춰 전략적으로 매핑함
• GPU 가변성 프로필과 작업별 토큰 부하 분포를 활용하여 최적의 전문가-GPU 매핑을 수행함
• GEM 적용 시 엔드투엔드 지연 시간을 평균 7.9%, 최대 16.5% 단축 가능