GC-MoE: CUDA Green Context를 이용한 FP8/FP4 그룹화된 GEMM과 전문가 병렬 토큰 디스패치 오버랩핑

요약

GC-MoE는 CUDA Green Context를 활용하여 MoE 추론 연산자를 최적화한 오픈 소스 솔루션입니다. 이 기술은 디스패치(통신)와 그룹화된 GEMM(계산) 단계를 독립적으로 분리하고 오버랩핑함으로써, 기존 통합 연산자 대비 성능을 크게 향상시킵니다. Hopper 및 Blackwell GPU에서 높은 가속 성능을 입증했습니다.

핵심 포인트

• CUDA Green Context를 사용하여 디스패치와 GEMM 단계를 독립적으로 분리하고 오버랩핑합니다.
• 디스패치 워프와 컴퓨트 파티션이 각기 다른 리소스 예산과 동기화 도메인을 가집니다.
• Hopper/Blackwell GPU에서 DeepSeek-V4.1-Flash 등을 평균 1.188배 이상 가속했습니다.
• Mega MoE 대비 모든 측정 지점에서 매칭된 정확도 기준으로 성능 우위를 입증했습니다.