커스텀 CUDA 커널을 사용한 PyTorch MoE/MoD 학습 프레임워크 구축 [Apache 2.0]

요약

MoE 및 MoD 아키텍처를 지원하는 PyTorch 기반의 LLM 학습 프레임워크입니다. 커스텀 CUDA 커널을 통해 학습 속도를 대폭 향상시켰으며, 적응형 학습 오케스트레이터를 통해 효율적인 파라미터 및 메모리 관리를 제공합니다.

핵심 포인트

• 커스텀 CUDA 커널 적용 시 T4 GPU에서 2~7배 성능 향상
• MoE와 MoD를 결합한 하이브리드 아키텍처 지원
• 학습률 조정 및 OOM 처리를 수행하는 적응형 오케스트레이터 탑재
• 500K에서 300B 파라미터까지 광범위한 모델 규모 지원
• Apple Silicon Metal 셰이더 지원 및 Apache 2.0 라이선스