Hugging Face 모델 ID를 받아 자동으로 다운로드하고 분산 서비스하는 4× DGX Spark 클러스터 관리 도구 설계

요약

Hugging Face 모델 ID를 받아 자동으로 다운로드하고, 이를 4대의 DGX Spark 클러스터에 분산하여 서비스하는 관리 도구를 설계했습니다. 이 도구는 vLLM/Ray 기반의 분산 추론을 통해 대규모 MoE 모델(예: Qwen3.5-397B)을 효율적으로 실행하며, 통합된 상태 모니터링 및 성능 테스트 기능을 제공합니다.

핵심 포인트

• Hugging Face ID로 자동 다운로드 및 배포 가능
• vLLM/Ray 기반의 4노드 분산 추론 구현
• 대규모 MoE 모델(Qwen3.5-397B) 실행 지원
• 클러스터 상태, RAM 사용량 등 통합 대시보드 제공