요약

GLM-5.2-Int4-Int8 모델을 GB10 8개 GPU 환경에서 구동했을 때의 성능 지표를 공유합니다. 전처리(prefill) 속도는 약 1,200 t/s이며, 평균 디코딩(decode) 속도는 일반 작업 시 33–54 t/s로 측정되었습니다.

핵심 포인트

• GLM-5.2-Int4-Int8 모델의 성능 테스트 결과 공유
• GB10 8개 환경에서 전처리 속도 약 1,200 t/s 달성
• 디코딩 속도는 일반 작업 시 33–54 t/s로 측정됨
• 남는 메모리를 활용하여 이미지/오디오 입력 병렬 구동 가능