이 게시물은 부분적으로만 진지합니다. Kimi K3를 실행하기 위한 최소 BoM (Bill of Materials, 자재 명세서)입니다. 2304 GB VRAM, 512 GB 호스트 RAM이 필요하며, 4대의 호스트에 분산됩니다. 거의 확실하게 환기(ventilation)가 부족할 것입니다 (저는 서버 랙을 구축해 본 적이 없습니다). 단일 PCIe 5.0 x16 통신 네트워크가 병목 현상 (bottleneck)이 될 수 있다고 의심됩니다. 텐서 (tensors)가 호스트 간에 분할되지 않는 한 괜찮을 것입니다. 호스트 내 텐서 병렬성 (Intra-host tensor parallelism) 또한 또 다른 병목 현상입니다. 모든 것이 동일한 PCIe 5.0 x16 버스 (bus)에서 실행되기 때문입니다. Atlas 300I를 사용하는 상황에서는 이를 피할 방법이 없습니다. 데이터 센터 경험이 있는 사람들이 빠르게 지적할 만한 오류가 아마 몇 가지 더 있을 것입니다. 이 시스템은 결함 허용 (fault tolerance) 기능이 없습니다. 적절한 소프트웨어가 있다면 추론 엔진 (inference engine)은 단일 비디오 카드가 고장 (KO) 나더라도 생존하고 자가 치유할 수 있습니다. 하지만 4대의 호스트 중 하나가 고장 나면 모델이 즉시 OOM (Out of Memory) 영역으로 들어가기 때문에 견딜 수 없습니다. 호스트 하나가 죽더라도 견딜 수 있게 하려면 약 25%를 추가하십시오. 그렇다고는 해도, 이 전체 비용은... 일반적인 시니어 컨설턴트 한 명의 두 달 치 급여 정도입니다. 이는 중소기업 (20~100명 규모) 영역에 해당합니다. 여기서 결정적인 걸림돌은, 모든 것을 설치 및 설정하고, 최종적으로 작동하는 제품을 보장하며, 엄격한 SLA (Service Level Agreement, 서비스 수준 협약)를 바탕으로 유지보수를 약속하는 누군가 없이는 어떤 중소기업도 이러한 구매를 결코 결정하지 않을 것이라는 점입니다 ("중국에서 새로운 Atlas 300I를 주문했습니다. 다음 달에 도착할 것입니다"라는 말로는 부족합니다).

Component Qty Item price Total price Notes
AsRock WRX90 WS EVO 4 £800 £3,200
AMD Ryzen Threadripper Pro 9955WX 4 £1,402 £5,608
DDR5 32 GB DDR5-7600 (2x 16 GB) 16 £497 £7,952
Air cooler for the CPU 4 £75 £300
Atlas 300I Duo 96GB 24 £1,000 £24,000
2TB SSD 4 £289 £1,156
1600W PSU 4 £300 £1,200
1600W UPS 4 £170 £680
QSFP28 100G RDMA network card PCIe 5.0 x16 4 £160 £640
Capped at 64G per direction by PCIe x16 QSFP28 cable 4 £30 £120
QSFP28 switch (1U) 1 £300 £300
4U chassis 4 £37 £148
18U rack cabinet 1 £120 £120
TOTAL £45,424
submitted by /u/crusaderky [link] [comments]