MoE(Mixture of Experts) 및 MoD(Mixture of Depths) 아키텍처 지원, 커스텀 CUDA 커널, 그리고 DeepSpeed 통합을 갖춘 트랜스포머(Transformer) LLM 학습용 PyTorch 프레임워크입니다.

주요 기능:

• RMSNorm, RoPE, SwiGLU, MoE 라우팅을 위한 커스텀 CUDA 커널. T4 GPU에서 일반 PyTorch보다 2~7배 빠름
• Mixture of Experts (최대 64개 전문가) + Mixture of Depths, 하이브리드 설정 포함
• 20개 이상의 지표를 모니터링하고 자동으로 개입하는 적응형 학습 오케스트레이터 (학습률(LR) 조정, 전문가 가지치기/추가, OOM(Out of Memory) 처리 등)
• 500K에서 300B 파라미터까지의 설정 지원
• Apple Silicon Metal 셰이더 지원

벤치마크는 T4(Google Colab)에서 검증되었습니다. A100/H100에 대한 수치는 아직 해당 하드웨어를 사용할 수 없기 때문에 아키텍처 사양을 바탕으로 추정되었습니다.
Apache 2.0 라이선스이며, 무료 Colab 데모가 포함되어 있습니다.
레포지토리: https://github.com/MatN23/AdaptiveTrainingSystem
데모: https://colab.research.google.com/drive/1tH1z9e7px2G8NGqWUN9gdqxs1CnUC7p1
질문에 답변하거나 피드백을 받는 것을 환영하며, 특히 Ampere 이상 하드웨어에서 테스트할 수 있는 분들의 의견을 기다립니다.
submitted by /u/RefrigeratorCalm9701 to r/LocalLLaMA
[link] [comments]