MoE-Hub: Taming Software Complexity for Seamless MoE Overlap with

요약

MoE-Hub는 대규모 언어 모델(LLM)에서 발생하는 MoE 아키텍처의 확장성 문제를 해결하기 위해 제안된 하드웨어-소프트웨어 공동 설계 솔루션입니다. 기존 시스템은 MoE의 동적 토큰-전문가 매핑과 GPU의 정적 주소 기반 통신 간의 불일치로 인해 복잡한 소프트웨어 중재 단계를 거쳐야 했고, 이는 성능 저하를 야기했습니다. MoE-Hub는 데이터 전송을 주소 관리에서 분리하고 로직적 목적지만 사용하여 라우팅함으로써, 하드웨어 가속화된 통신 제어 평면을 통해 원활하고 투명한 겹침(overlap)을 가능하게 하여 성능을 크게 향상시킵니다.

핵심 포인트

• MoE 아키텍처의 확장성 제한은 멀티 GPU 시스템에서의 인터-GPU 통신 병목 현상에서 기인합니다.
• 기존 문제는 MoE의 동적 매핑과 GPU의 정적 주소 기반 통신 모델 간의 근본적인 추상화 불일치였습니다.
• MoE-Hub는 하드웨어-소프트웨어 공동 설계를 통해 '주소 무관(address-agnostic)' 통신 패러다임을 도입했습니다.
• 데이터 전송을 주소 관리에서 분리하여, 로직적 목적지만으로 라우팅 및 데이터 전송이 가능해졌습니다.
• 평가 결과, MoE-Hub는 기존 시스템 대비 레이어당 1.40배~3.08배, 엔드투엔드 1.21배~1.98배의 속도 향상을 달성했습니다.