GLM-5.3-Flash NVFP4 + DFlash2 통합을 위한 4x NVIDIA DGX Spark 기반 TP4 배포 패키지

요약

본 글은 GLM-5.3-Flash NVFP4와 DFlash2 통합을 위한 4x NVIDIA DGX Spark 기반 TP4 배포 패키지를 공개합니다. 이 패키지에는 모델, 런타임 버전, 필요한 패치, 시작/복구 작업, 정확성 검사 및 벤치마크 도구가 모두 포함되어 있습니다. 이 설정을 통해 단일 요청당 평균 디코드 속도는 33.37 token/s, 네 개의 동시 요청에 대한 총 디코드 속도는 70.43 token/s를 달성했습니다.

핵심 포인트

• GLM-5.3-Flash와 DFlash2 통합을 위한 재현 가능한 배포 패키지 제공
• NVIDIA DGX Spark 환경에서 TP4 분산 추론 구현 및 테스트 완료
• 단일 요청 33.37 token/s, 동시 요청 70.43 token/s의 성능 측정 결과 제시
• 214개 Python 및 7개 shell 테스트를 통과한 안정적인 시스템 구축