직원 10명 규모 스타트업을 위한 4개의 R9700 장치 구축기

클라이언트에게 구축하고 있는 시스템 사양을 공유하고자 합니다. 사양: Threadripper 9970x, DDR5 ECC 5600 128GB, 4개 x AMD Radeon R9700 AI Pro 32GB (총 VRAM 128GB), 1600W PSU (GPU는 언더볼팅되어 개당 210W 미만)
엔진: Qwen 3.8 Next flash/27b 및 DSV4 Flash를 서비스하기 위해 Radiance의 포크(fork)를 사용합니다.
결과: 동시 세션 16개
Qwen 3.8 27b MXFP4: 집계 prefill 토큰/초 6.3-6.8k, t/s 900, 집계 decode 80t/s (범위: 각 4k - 128k 컨텍스트)
Qwen 3.8 Next flash 48K/사용자 | 6,880 토큰/초 | 538.5 토큰/초 집계 prefill/decode
128k/사용자 | 3,050 토큰/초 | 365 토큰/초 집계 prefill/decode (모두 BF16 kv 사용). /u/sayamss가 제출함 [링크] [댓글]