16x AMD MI50 32GB: llama.cpp RPC를 사용한 GLM-5.2 Q4 12.2 tok/s 성능
요약
16개의 AMD MI50 GPU를 활용하여 llama.cpp RPC 기반으로 GLM-5.2 모델을 구동한 성능 테스트 결과입니다. 10.7k 컨텍스트 환경에서 약 10.2 tok/s의 출력 속도를 기록하며 분산 VRAM 환경에서의 추론 성능을 보여줍니다.
핵심 포인트
- 16x AMD MI50(총 512GB VRAM) 환경에서 GLM-5.2 구동
- llama.cpp RPC를 통한 분산 GPU 추론 성능 측정
- 10.7k 컨텍스트에서 약 10.2 tok/s의 일관된 출력 속도 달성
- vLLM 기반 커스텀 빌드 대비 llama.cpp의 장문 처리 효율 확인
GLM-5.2 UD-Q4_K_XL GGUF @ 12.2 tok/s 출력 // llama.cpp RPC를 사용하여 실제 10.7k-토큰 문서를 처리할 때 30.9 tok/s 입력 - 10.7k 컨텍스트(Context)에서: 일관된 장문 생성과 함께 10.2 tok/s 출력
두 개의 병렬 요청: 합계 14.5 tok/s
컨텍스트 (Context): 2x 16,384-토큰 슬롯
모델 크기: 436 GiB
하드웨어: 16x AMD MI50 32GB, 총 512GB, 각 GPU당 100w 제한, 두 개의 8-GPU 노드에 분산된 VRAM
인터커넥트 (Interconnect): 직접 연결된 10 GbE DAC, MTU 9000
lama.cpp를 사용하기 전, TP=8 및 PP=2를 사용하는 커스텀 vLLM-gfx906 v19 Moby Dick 빌드에 GLM-5.2 AWQ INT4를 통합하는 데 많은 시간을 보냈습니다. 디코딩(Decode) 14t/s 및 프리필(Prefill) 50 t/s를 달성했지만, 10k 이후에 추론(Inference) 성능이 저하되었습니다. 아직 MTP 관련 작업은 진행하지 못했습니다. 누군가 Moby Dick 저장소를 이를 통해 구동하는 방법을 찾아내기를 바랍니다.
submitted by /u/Legal-Ad-3901
[link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기