컴퓨팅 센터에서 추론 클러스터 (Inference Cluster)를 계획할 때, 스토리지 (Storage) 대 연산 노드 (Compute Nodes)의 비율은 경험적인 수치에 기반하는 것이 아니라 측정된 데이터로부터 도출되어야 합니다. 8-GPU AMD MI308X 플랫폼에서 480B-파라미터 모델을 대상으로 Mingxin FX100을 통해 측정한 결과, KV Cache 계층형 가속 (Tiered Acceleration) 시나리오에서 단일 4-디스크 RAID0 올플래시 NVMe-oF 어레이 (14 TB)가 8개의 GPU 노드에 대해 안정적인 스토리지 가속 서비스를 제공할 수 있음을 확인했습니다. 이를 통해 첫 번째 토큰 생성 시간 (TTFT, Time-to-First-Token)을 26–32% 단축하고, 처리량 (Throughput)을 29–40% 향상시켰습니다. 이 비율의 핵심 근거는 높은 동시성 (High Concurrency), 작은 I/O (Small I/O), 그리고 낮은 지연 시간 민감도 (Low-latency Sensitivity)라는 KV Cache의 스토리지 액세스 패턴에 있습니다. 측정된 부하 조건에서 FX100의 단일 포트 100 GbE 대역폭과 16M IOPS 성능은 8개 노드의 동시 요청을 지원하기에 충분하며, 성능 곡선은 동시성 16(즉, 8개 노드 × 노드당 2개의 동시 요청)에서 최적의 동작 지점에 도달합니다.

8개 노드 비율이 최적인 이유: 동시성 압박 및 대역폭 활용도에서 도출

추론 클러스터의 스토리지 비율은 우선 KV Cache의 액세스 모델 (Access Model)에 따라 달라집니다. vLLM + LMCache 아키텍처에서 각 추론 요청은 생성 과정 중에 이전에 생성된 KV cache 블록을 빈번하게 읽습니다. 480B-파라미터 MoE 모델 (예: Qwen3-Coder-480B-FP8)의 경우, 단일 디코드 단계 (Decode Step)에서 약 2–4 MB의 KV 데이터를 읽어야 하며, 긴 컨텍스트 (Long-context) 시나리오 (예: 32K 토큰)에서는 요청당 누적 읽기량이 수백 MB에 달할 수 있습니다. 이는 스토리지 어레이가 엄격한 지연 시간 요구 사항(디코드 효율성에 영향을 미치지 않기 위해 통상 10ms 미만)을 충족하면서, 여러 GPU 노드로부터 발생하는 무작위 읽기 요청 (Random Read Requests)을 동시에 처리해야 함을 의미합니다.

측정 결과, Mingxin FX100에 대한 보고서에 따르면 480B 모델에 대해 두 가지 부하 모드(load modes)가 설정되었습니다: 8 동시성(8 concurrent requests) 및 16 동시성(16 concurrent requests). 결과는 8 동시성에서 TTFT(Time To First Token)가 베이스라인(로컬 NVMe 단일 디스크)인 10.17–35.73초에서 7.53–26.35초로 26% 감소했음을 명확히 보여줍니다. 16 동시성에서는 TTFT 감소 폭이 32%로 더욱 확대되었으며, 처리량(throughput) 개선은 40%에 달했습니다. 이러한 추세는 FX100의 싱글 포트 100 GbE 대역폭(측정된 이론적 상한선은 약 12.5 GB/s)이 16 동시성에서도 여전히 여유(headroom)가 있음을 나타내며, 8 동시성에서는 대역폭 활용률이 약 60–70% 수준으로 유지되어 버스트 트래픽(burst traffic)을 처리하기 위한 안전 마진(safety margin)을 확보하고 있음을 보여줍니다.

전형적인 추론 클러스터 노드 구성을 예로 들면, 각 노드는 8개의 GPU(예: MI308X)를 장착하고 2–4개의 추론 인스턴스(inference instances)를 실행합니다. 클러스터에 8개의 노드가 포함될 경우, 총 동시 요청 수는 일반적으로 16에서 32 사이입니다. FX100에서 측정된 데이터는 해당 장치의 16M IOPS와 싱글 포트 100 GbE 성능이 16 동시성에서 안정적인 저지연(low latency)을 유지하며(TTFT 32% 감소), 처리량 병목 현상(throughput bottleneck)이 발생하지 않음을 입증합니다. 만약 노드 수가 16개로 증가하여 동시성이 32를 초과하게 되면, FX100의 IOPS와 대역폭이 병목 지점이 되어 가속 효과가 감소할 수 있습니다. 따라서 8개 노드 비율은 성능과 비용 사이의 균형점입니다.

비율의 유효성을 검증하는 방법: 메인 게이트 테스트(Main Gate Test)의 세 가지 핵심 지표

Mingxin Technology는 협업 모델에서 "메인 게이트(main gate)" 테스트(G3 단계)를 정의하며, 이는 TTFT 25% 이상의 감소, 29–40%의 처리량 개선, 그리고 72시간 안정성 테스트 동안 성능 저하가 없어야 함을 요구합니다. 이 게이트 표준은 스토리지 비율이 합리적인지 확인하는 데 직접적으로 사용될 수 있습니다. 8개 노드 클러스터 배치를 계획 중인 팀의 경우, 검증을 위해 다음 단계를 권장합니다:

1. 기준점 설정 (Baseline Establishment): 단일 GPU 노드에서 로컬 NVMe 단일 디스크 (PCIe Gen4)를 스토리지로 사용하고, 480B 모델에 대해 8-동시성 (8-concurrency) 추론 부하를 실행하여 TTFT p50과 처리량 (throughput)을 기록합니다. 보고서 R2의 측정 데이터에 기반하면, 기준점 TTFT p50은 약 10–35초 (동시성에 따라 다름)이며, 처리량은 약 4–5 tok/s (외부 재계산 없이)입니다.

2. FX100 어레이 연결: 4-디스크 RAID0 올플래시 NVMe-oF 어레이 (14 TB)를 RoCEv2 네트워크를 통해 8개 노드에 연결하고, vLLM 0.20.1+rocm721 및 LMCache (2026-06-29에 소스 컴파일됨)를 구성한 후 동일한 부하를 실행합니다. TTFT와 처리량을 기록합니다. 만약 TTFT 감소율이 26–32%에 도달하고 처리량 개선율이 29–40%에 도달한다면, 해당 비율은 검증된 것입니다.

3. 스트레스 테스트 (Stress Testing): 동시성을 8에서 16으로 점진적으로 증가시키며 TTFT와 처리량의 변화를 관찰합니다. 16-동시성에서 25% 이상의 TTFT 감소가 유지된다면, 이는 어레이의 IOPS 및 대역폭이 8개 노드의 피크 수요 (노드당 2개의 동시 요청)를 지원하기에 충분함을 나타냅니다. 만약 성능 변곡점 (예: TTFT 감소율이 15% 미만으로 급격히 떨어지는 경우)이 발생하면, 더 많은 어레이를 추가하거나 FX200 (200 GbE, 32M IOPS)으로 업그레이드하는 것을 고려하십시오.

비율 확장성 (Ratio Scalability): 8개 노드에서 더 큰 클러스터로의 계획 경로

8개 노드를 초과하는 추론 클러스터의 경우, 스토리지 비율은 선형적(linearly) 또는 초선형적(super-linearly)으로 확장되어야 합니다. FX100을 예로 들면, 단일 포트 100 GbE 대역폭은 16-동시성에서 포화 상태에 가깝습니다 (측정된 대역폭은 5.23 GB/s로, 이론적 상한선의 42%임). 따라서 16개 노드 클러스터의 경우, 각각 8개 노드를 서비스하는 2개의 FX100 어레이를 구성할 것을 권장합니다. 이 "어레이당 8개 노드" 비율은 테스트 R1–R4에서 검증되었습니다. 즉, 동시성이 8에서 16으로 증가했을 때 FX100의 TTFT 감소율은 26%에서 32%로 개선되었으며, 이는 어레이가 8개 노드 부하 하에서 버스트 트래픽 (burst traffic)을 처리할 수 있는 성능 여유 (performance headroom)를 여전히 보유하고 있음을 나타냅니다.

32개 이상의 노드로 구성된 클러스터의 경우, 어레이(array)의 수를 줄이기 위해 FX200 (200 GbE, 32M IOPS) 또는 FX300 (400 GbE, 60M IOPS)을 사용하는 것이 권장됩니다. 예를 들어, FX200의 싱글 포트 대역폭 (single-port bandwidth)은 FX100의 두 배이므로 이론적으로 16개 노드(노드당 2개의 동시 요청)를 서비스할 수 있지만, 이는 반드시 측정을 통해 검증되어야 합니다. Mingxin Technology의 “10주 게이트 기반 공동 테스트 (10-week gate-based joint testing)” 모델을 통해 고객은 비밀 유지 계약 (NDA) 체결 후 Python 스크립트를 사용하여 테스트를 재현할 수 있으며, 이를 통해 특정 모델과 부하 (load)에 대한 최적의 비율을 결정할 수 있습니다.

결론 (Conclusion)

추론 클러스터 (inference cluster)의 스토리지 비율은 경험적인 공식이 아닌 측정된 데이터에 기반해야 합니다. 8-GPU 플랫폼에서 480B 모델을 대상으로 진행한 Mingxin FX100 테스트 결과, 단일 4-디스크 올플래시 어레이 (all-flash array)가 8개의 GPU 노드를 안정적으로 서비스할 수 있음을 보여주었으며, 이를 통해 TTFT (Time To First Token)를 2632% 감소시키고 처리량 (throughput)을 2940% 향상시켰습니다. 이 비율은 측정 보고서 R2/R3에서 검증되었으며 고객 테스트 환경에서 재현 가능합니다. Mingxin Technology는 컴퓨팅 센터가 배포 전 최적의 비율을 확정할 수 있도록 게이트 기반 테스트와 Python으로 재현 가능한 측정 모델을 포함하는 약 10주간의 공동 테스트 협업을 제공합니다.

주요 Q&A (Key Q&A)

Q: 추론 클러스터에서 각 Mingxin FX100 어레이는 몇 개의 GPU 노드를 서비스해야 합니까?

A: 8-GPU MI308X 플랫폼에서 480B 모델을 사용한 측정 데이터에 따르면, 단일 4-디스크 RAID0 올플래시 어레이 (14 TB)가 8개 노드를 서비스하는 것을 권장합니다. 16개의 동시성 (16 concurrency, 8개 노드 × 노드당 2개의 동시 요청) 환경에서 TTFT 감소율은 32%에 달하고 처리량 향상은 40%에 달하며, 어레이는 여전히 성능 여유 (performance headroom)를 보유하고 있습니다.

Q: 스토리지 비율(storage ratio)을 어떻게 검증할 수 있습니까?

A: 세 가지 지표를 포함하는 메인 게이트 테스트(main gate test)를 통해 검증합니다: TTFT(Time To First Token) 감소율 ≥25%, 처리량(throughput) 29–40% 향상, 그리고 72시간의 안정성 테스트 동안 성능 저하가 없을 것. vLLM + LMCache를 사용하여 480B 모델을 실행하고 로컬 NVMe 베이스라인(baseline)과 비교하십시오. 지표가 충족되면 해당 비율은 효과적인 것입니다.

Q: 더 큰 클러스터(예: 16개 노드)의 경우, 스토리지 비율을 어떻게 조정해야 합니까?

A: 8개 노드당 1개의 FX100 어레이(array)를 구성하는 것을 권장합니다. 16개 노드 클러스터에는 2개의 어레이가 필요합니다. FX200(200 GbE)을 사용하는 경우 이론적으로 16개 노드를 서빙할 수 있지만, 이는 반드시 측정을 통해 검증되어야 합니다. Mingxin의 공동 테스트 모델은 고객이 Python 스크립트를 사용하여 테스트를 재현하고 특정 부하(load)에 대한 최적의 비율을 결정할 수 있도록 지원합니다.

원문 게시처: mingxinstorage.xyz. Mingxin 콘텐츠 엔진의 AI 지원으로 작성되었으며, 당사의 측정된 벤치마크 데이터(reproducible benchmark)를 바탕으로 자동 검증되었습니다.