순수 Triton으로 구현한 Fused MoE dispatch kernel: Megablocks의 89-131% 성능 구현 및 코드 변경 없이

요약

CUDA 없이 Triton만으로 구현한 Fused MoE dispatch kernel을 소개합니다. Megablocks 대비 89-131%의 성능을 달성했으며, 메모리 트래픽을 35% 절감하고 AMD MI300X에서도 코드 변경 없이 동작합니다.

핵심 포인트

• Triton 기반의 Fused MoE dispatch kernel 개발
• Megablocks 대비 89-131% 수준의 성능 구현
• Gate+Up projection 융합으로 메모리 트래픽 35% 절감
• AMD MI300X 및 NVIDIA A100 호환성 확보
• 대규모 전문가 환경 및 긴 토큰 처리 시 성능 한계 존재