ModelExpress: 빛의 속도로 모델 아티팩트(Model Artifacts) 배포하기 - NVIDIA 기술 블로그

요약

NVIDIA ModelExpress(MX)를 통해 모델 가중치 배포 속도를 혁신적으로 개선했습니다. GPU-to-GPU RDMA 기술을 활용하여 DeepSeek-V4 Pro의 시작 시간을 8분에서 2분 미만으로 단축했습니다.

핵심 포인트

• GPU-to-GPU RDMA를 통한 가중치 이동 최적화
• DeepSeek-V4 Pro 모델 시작 시간 75% 이상 단축
• NVIDIA ModelExpress를 통한 가중치 및 커널 캐시 관리
• 추론 및 RL 사후 학습 속도 향상 효과