우리는 GPU-to-GPU RDMA를 통해 가중치(weights)를 GPU 메모리로 가장 빠른 경로를 통해 이동시킴으로써 DeepSeek-V4 Pro의 시작 시간을 8분에서 2분 미만으로 단축했습니다. 이는 NVIDIA Dynamo의 가중치 배포 및 캐시 관리 서비스인 NVIDIA ModelExpress (MX)를 사용하여 달성되었으며, 동일한 접근 방식은 추론(inference)과 RL(강화학습) 사후 학습(post-training) 속도도 높여줍니다. MX는 커널 캐시(kernel caches)를 재사용하는 반면, 추론 워커(inference workers)는 NIXL을 통해 다른 GPU로부터 업데이트된 가중치를 직접 가져와 중앙 집중식 브로드캐스트(broadcasts)를 피하고 가중치 이동이 임계 경로(critical path)에 포함되지 않도록 합니다. 블로그 포스트: https://developer.nvidia.com/blog/modelexpress-distributing-model-artifacts-at-the-speed-of-light/ /u/pmttyji에 의해 제출됨 [link] [comments]