faster megakernel을 통한 MoE 학습 40% 가속화 (B200용)

요약

B200 GPU를 위한 faster megakernel을 통해 MoE(Mixture of Experts) 학습 속도를 약 40% 가속화할 수 있는 오픈 소스 기술이 공개되었습니다. 순전파(forward) 단계에서 최대 140%의 성능 향상을 주장하며, Apache 2.0 라이선스로 제공됩니다.

핵심 포인트

• B200 GPU 환경에서 MoE 학습 성능 약 40% 향상
• 순전파(forward) 단계에서 최대 140% 가속 가능
• Apache 2.0 라이선스의 오픈 소스 프로젝트
• 실제 e2e 성능은 구현 방식에 따라 차이가 있을 수 있음