사용된 EPYC 프로세서로 4개의 R9700 구축: 장치당 총 $10.7k (384GB VRAM)를 투자했습니다. 세 대를 직접 구축했습니다.

며칠 전 이곳에서 10명 규모의 스타트업을 위한 4x R9700 빌드를 봤는데, 제가 카드에 돈을 가장 많이 쓰기로 결정했기 때문에 제 결과를 공유하고 싶었습니다. 저는 Threadripper 대신 아주 저렴한 중고 EPYC를 선택했습니다. 결국 장치당 총 $10.7k 정도가 들었고, 이를 이용해 세 대를 구축하여 총 384GB의 VRAM을 확보했습니다. 다른 계정에서 오랫동안 지켜본 사람으로서 항상 사람들이 모델을 실제로 어떻게 사용하는지 보여주지 않는 것에 좌절감을 느꼈습니다. 그래서 많은 논의 끝에 모호하게 설명하는 대신, 이 시스템이 구동하는 실제 프로젝트를 공유하기로 결정했습니다. 저는 이것들을 제 사업인 USA Arms의 백엔드 AI를 구동하는 데 사용합니다. 저희는 수만 개의 총기 관련 비즈니스(총기 딜러, 탄약 딜러, 사격장 등)를 정리하고 있으며, 이 정보는 항상 변경되기 때문에 웹사이트를 최신 상태로 유지하는 시스템이 필요합니다. 모델들은 출처 사실을 확인하고, 사업체 신원을 분류하며, 서비스나 영업시간 같은 정보를 추출합니다. 모든 답변은 에이전트가 실제로 본 내용과 교차 검증되며, 더 큰 모델들이 작업을 감사할 수 있도록 문서를 저장합니다. 저는 제 작업의 대부분을 로컬 AI로 옮길 계획을 원래 올해 후반으로 잡았지만, 약 2~3주 전부터 호스팅된 모델들이 저희 사업에 대한 일반적인 조사를 거부하기 시작했습니다. 라이선스 소유자가 개인일 수 있다는 이유로 총기 딜러를 식별하는 것을 거부했고, 탄약 구매를 도와줄 수 없다는 이유로 탄약 딜러의 웹사이트도 살펴보지 않았습니다. 저희 시스템이 무작위적인 방식으로 작동을 멈추기 시작하자, 제가 과감하게 전환한 것이 다행이라고 생각합니다. 저희는 워크로드에 대해 Luna 6, DeepSeek, GLM 5.3, Qwen 3.8 27B, Gemma, Inkling과 함께 Kimi, GLM Flash 등 여러 모델을 테스트했습니다. GLM이 최고의 결과를 보여주었습니다. Qwen은 최고의 비용 대비 성능을 제공했기 때문에 현재 이것들로 운영하고 있습니다.

세부적인 이야기는 접어두고, 숫자로 들어가 보겠습니다. 박스당 총 비용은 세 대를 평균하여 세금과 배송비를 포함해 $10,733.91입니다. 이 구성에는 4x ASRock Radeon AI PRO R9700 Creator 32 GB (VRAM 128 GB)가 포함되며, 각 카드는 최대 210W로 제한됩니다: AMD EPYC 7452 프로세서 $7,244.58, 코어 32개, 사용됨: ASRock Rack ROMED8-2T/BCM $1,162.39 (전 세계적인 부족 현상이 있었지만, 저희 것은 Helsinki에서 왔습니다) 8x 16 GB DDR4-2666 ECC RDIMM, 모든 8개 채널: $860.59 SilverStone HELA 2050R Platinum: $578.92 SilverStone RM44 4U: $388.40 Samsung 990 PRO 1 TB: $254.39 ARCTIC Freezer 4U-M, 전면 3개 ARCTIC P12 Pro, 후면 2개 Noctua NF-A8, SP3 프레임, 페이스트: $117.48 GPU가 비용의 2/3를 차지하지만, 이 박스들은 저희 비즈니스에서 병목 현상을 일으켰던 CI/CD도 실행합니다. 아무도 논의하지 않았던 부분인데, 추론(inference)을 우선순위로 조정하면 Rust 빌드를 문제없이 실행할 수 있습니다. 테스트 결과, 빌드와 추론을 동시에 실행해도 처리량(throughput)에 측정 가능한 변화는 없었으며, 빌드는 3-8%만 느렸습니다. 엔진 vLLM-Radiance 1.0.387 (vLLM 0.30.0, ROCm 7.14). Radiance 팀에 큰 감사를 표합니다. 그들의 R9700 작업 덕분에 저희가 운영할 수 있었습니다. Qwen/Qwen3.8-27B-FP8 (Qwen의 공식 FP8 체크포인트), FP8 KV 캐시, 모델 자체의 MTP 헤드와 8개의 초안 토큰 두 개의 엔진을 박스당 구성하여 각각 TP=2, 엔진당 8개 시퀀스를 사용하고 최대 컨텍스트는 256K이며, 엔진당 약 488K 토큰의 KV 캐시를 가집니다. 결과: vllm bench serve, 한 대의 박스, 2x TP2: 사용자 1명, MT-Bench: 53.1 tok/s, TTFT p50 125 ms / 사용자 16명, MT-Bench: 총합 484 tok/s, 사용자당 약 40 tok/s / 사용자 16명, 무작위 1024 in / 512 out: 총합 623 tok/s, 4개 카드 평균 837 W / 사용자 32명 (최대 시퀀스 수 32인 벤치 프로파일): 603 tok/s MTP는 텍스트에 크게 의존합니다. 저희 JSON 추출의 경우, 초안의 83%가 승인되지만(단계당 7.6 토큰), MT-Bench에서는 39%(단계당 2.7 토큰)로, 구조화된 출력에 대해 MT-Bench가 실제 성능을 과소평가하고 있습니다.

긴 프롬프트(Long prompts), 8개의 고유 실시간 프롬프트 동시 처리 (각 엔진당 4개): 128 토큰 출력 시 컨텍스트 프리필 TTFT 평균 디코드, 모든 8 스트림 기준: 4K에서 7,044 tok/s (2.8초), 271 tok/s; 8K에서 7,495 tok/s (5.3초), 219 tok/s; 16K에서 7,241 tok/s (11.0초), 180 tok/s; 32K에서 6,696 tok/s (24.0초), 178 tok/s; 64K에서 5,961 tok/s (54.4초), 171 tok/s; 4x 128K (TP=4, 단일 엔진): 3,344 tok/s (100초), 130 tok/s; 4x 256K (TP=4, 단일 엔진): 2,719 tok/s (242초), 135 tok/s 모든 프롬프트는 고유했습니다 (0% 프리픽스 캐시 히트). 실제 워크로드에서의 FP8 대 MXFP4. 시작 빌드는 MXFP4로 실행되었기 때문에, AI에게 이 작업(Radiance의 가장 빠른 프로파일)을 우리 자체 등급 추출 작업대에서 한 시스템에 대해 실행하도록 했습니다: FP8: 100개 중 98.0개 정확, 시간당 4,477건 검증된 작업; MXFP4: 100개 중 95.3개, 시간당 4,819건. 홀드아웃 세트 기준: FP8 94.0, MXFP4 90.0. 따라서 FP8은 검증 처리량(validated throughput)이 약 2~7% 낮아지는 대신 오답을 대략 절반으로 줄여줍니다. 이 워크로드에서는 시스템에 들어가는 '거짓 사실(false facts)'이 실제 골칫거리이기 때문에 FP8을 선택하는 것이 쉬운 결정이었습니다. 참고로, 저희의 Mac Studio 6대 (M4 Max 128 GB 4대, M3 Ultra 512 GB 2대)를 MLX 8비트로 사용했을 때는 100개 중 99개를 기록했지만, 총 6대를 합쳐 시간당 723건에 그쳤습니다. 계획 A는 Mac을 더 구매하는 것이었고, 따라가려면 최소 41대가 더 필요했으며, 비용은 약 $280k였습니다. 저는 초보자와 AI를 로컬로 옮기려는 사람들을 대상으로 빌드 영상을 만들었습니다:

질문에 답변드리게 되어 기쁩니다. 그 첫 번째 질문이 '도대체 Mac은 어떻게 그렇게 느렸냐'일 것이고, 제가 비난받을 것 같습니다 haha. submitted by /u/NickReese [링크] [댓글]