Sieve: 진화하는 Mixture-of-Experts 모델을 위한 동적 전문가 인식 PIM 가속 기술

요약

MoE 모델의 토큰-대-전문가 분포가 양봉형으로 변함에 따라 발생하는 기존 PIM 시스템의 효율성 저하 문제를 해결하기 위한 새로운 기술을 제안합니다. Sieve는 런타임 토큰 분포에 따라 GPU와 PIM 간의 전문가 실행을 동적으로 분할하고, 연산과 통신을 중첩시켜 처리량을 최적화합니다. 실험 결과, 주요 MoE 모델에서 기존 PIM 시스템 대비 최대 1.6배의 처리량 및 상호작용성 향상을 입증했습니다.

핵심 포인트

• 현대 MoE 모델은 소수의 전문가에게 토큰이 집중되는 양봉형 전문가 분포 특성을 가짐
• 기존 PIM 시스템은 이러한 동적인 부하 불균형과 GPU 간 통신 오버헤드를 고려하지 못함
• Sieve는 메모리 대역폭, GPU 처리량, 상호 연결 오버헤드 등을 고려하여 전문가 실행을 GPU와 PIM에 동적으로 할당함
• GPU 연산, PIM 연산, 장치 간 통신을 중첩(overlap)시켜 실행 효율을 극대화함
• Qwen 및 GPT-OSS 모델 테스트 결과, 기존 방식 대비 1.3배~1.6배의 성능 향상 달성