16x AMD MI50 32GB: llama.cpp RPC를 사용한 GLM-5.2 Q4 12.2 tok/s 성능

요약

16개의 AMD MI50 GPU를 활용하여 llama.cpp RPC 기반으로 GLM-5.2 모델을 구동한 성능 테스트 결과입니다. 10.7k 컨텍스트 환경에서 약 10.2 tok/s의 출력 속도를 기록하며 분산 VRAM 환경에서의 추론 성능을 보여줍니다.

핵심 포인트

• 16x AMD MI50(총 512GB VRAM) 환경에서 GLM-5.2 구동
• llama.cpp RPC를 통한 분산 GPU 추론 성능 측정
• 10.7k 컨텍스트에서 약 10.2 tok/s의 일관된 출력 속도 달성
• vLLM 기반 커스텀 빌드 대비 llama.cpp의 장문 처리 효율 확인