vLLM을 사용하여 두 개의 Nvidia DGX Stations에서 GLM-5.3을 607.8 tok/s로 서빙하기

요약

본 기사는 vLLM을 활용하여 두 개의 NVIDIA DGX Stations에 걸쳐 GLM-5.3과 같은 대규모 MoE 모델을 로컬로 서비스하는 방법을 안내합니다. ConnectX-8 RDMA와 텐서 병렬성(TP=2)을 사용하여 거대한 가중치를 GPU 메모리에 유지하며, 단일 OpenAI 호환 API 엔드포인트를 통해 고성능 추론 환경을 구축할 수 있습니다.

핵심 포인트

• 대규모 모델은 ConnectX-8 RDMA를 이용해 여러 DGX Stations에 걸쳐 텐서 병렬성으로 분산 서비스 가능합니다.
• GLM-5.3과 같은 대용량 MoE 모델(약 464 GB)을 GPU 메모리에 유지하는 것이 핵심입니다.
• vLLM을 사용하면 두 스테이션이 협력하여 단일 OpenAI 호환 API 엔드포인트를 제공합니다.
• 성공적인 배포를 위해 DGX Stations 간의 연결 및 충분한 디스크 공간 확보가 필수적입니다.