Zai가 GLM-5.1 추론을 실행하는 네트워크 아키텍처를 교체했으며, 그 성능 향상은 매우 놀랍습니다

요약

Zai가 GLM-5.1 추론을 위해 자체 개발한 ZCube 네트워크 아키텍처를 도입하여 성능을 대폭 개선했습니다. 기존 ROFT 방식의 트래픽 불균형 문제를 해결하여 비용은 줄이고 처리량과 지연 시간 성능은 높였습니다.

핵심 포인트

• ZCube 아키텍처 도입으로 스위치 및 광 모듈 비용 33% 절감
• GPU 추론 처리량 15% 향상 및 P99 지연 시간 40.6% 감소
• Prefill-Decode 분리 추론 시 발생하는 비대칭 트래픽 문제 해결
• Spine 계층을 제거한 평탄화된 완전 이분 그래프 구조 채택