LLM 추론 클러스터에서 KV Cache 스토리지 가속의 핵심 병목 현상은 종종 스토리지 매체 자체가 아니라 네트워크 대역폭(Network Bandwidth)에 있습니다. Mingxin FX100은 측정 테스트에서 단일 100GbE 포트에서 90%의 라인 레이트 활용률(Line-rate utilization, 약 11.25 GB/s의 유효 대역폭)을 달성했습니다. 이 지표는 일반적인 추론 배포 환경에서 대규모 모델을 위한 KV Cache 또는 모델 가중치(Model weights)를 로드할 때 네트워크가 더 이상 주요 제한 요인이 아님을 의미하며, 이를 통해 vLLM과 같은 추론 프레임워크에 로컬 NVMe에 근접한 지연 시간(Latency)을 제공합니다. 본 기사는 이러한 네트워크 병목 현상이 KV Cache의 스토리지 가속 효과, LMCache의 읽기 패칭(Read-patching) 효율성, 그리고 추론 클러스터의 전반적인 처리량(Throughput) 성능에 어떻게 영향을 미치는지 분석합니다.

KV Cache 스토리지 가속을 위한 단일 100GbE 포트 90% 라인 레이트 활용률의 중요성

KV Cache는 LLM 추론 중 중간 어텐션(Attention) 계산에서 생성된 캐시 데이터를 저장하며, 그 크기는 컨텍스트 길이(Context length)에 따라 선형적으로 증가합니다. 롱 컨텍스트(Long-context) 시나리오(예: 8개 카드의 TP8로 배포된 480B 파라미터 모델)에서 KV Cache는 수백 기가바이트에 달할 수 있으며, 이는 GPU 메모리에 모두 수용할 수 없으므로 계층적 가속(Tiered acceleration)을 위해 외부 스토리지에 의존해야 합니다. 올플래시(All-flash) NVMe-oF 어레이인 Mingxin FX100은 단일 100GbE 포트를 통해 스토리지 액세스를 제공합니다.

측정된 테스트(보고서 R2)에서 FX100은 단일 100GbE 포트에서 약 90%의 라인 레이트(line-rate) 활용률을 달성하여 약 11.25 GB/s의 유효 대역폭(effective bandwidth)을 기록했습니다. 이 수치는 단일 로컬 PCIe Gen4 NVMe 드라이브의 순차 읽기 대역폭(약 6-7 GB/s)보다 약 60-80% 더 높은 값으로, 네트워크가 더 이상 데이터 전송의 병목 현상(bottleneck)이 아님을 나타냅니다. KV 캐시(KV Cache) 스토리지 가속 시나리오에서 네트워크 지연 시간(latency)과 대역폭은 첫 번째 토큰 생성 시간(TTFT, time-to-first-token)과 처리량(throughput)을 직접적으로 결정합니다. 측정 데이터에 따르면 480B·TP8 롱 컨텍스트(long-context) 워크로드 하에서 FX100은 TTFT p50을 10.17-35.73초에서 7.53-26.35초로 단축했으며, 이는 26-32%의 감소를 의미합니다(측정치, 보고서 R2). 이러한 개선은 네트워크 대역폭 활용률과 매우 높은 상관관계를 가집니다. 즉, 네트워크 대역폭이 라인 레이트(line rate)에 근접할 때 스토리지 액세스 지연 시간은 주로 스토리지 매체 자체에 의해 결정됩니다.

LMCache 병렬 읽기 패치(Parallel Read Patching)가 높은 네트워크 대역폭으로부터 얻는 이점

LMCache는 KV 캐시(KV Cache)의 캐싱 및 전송을 최적화하도록 설계된 vLLM 생태계의 오픈 소스 구성 요소입니다. 측정된 테스트(보고서 R1)에서 Mingxin FX100은 LMCache 병렬 읽기 패치(parallel read patching)와 결합하여 단일 카드, 동시성 16(concurrency-16), 콜드 리드(cold-read) 시나리오(Qwen2.5-32B)에서 TTFT를 37.97초에서 9.30초로 단축하며 4.1배의 개선을 이루었습니다. 또한 대역폭은 0.98 GB/s에서 5.23 GB/s로 증가하여 5.3배의 개선을 보였습니다(측정치, 보고서 R1). 이러한 개선의 핵심은 LMCache의 병렬 읽기 패치가 여러 개의 동시 스레드(concurrent threads)를 사용하여 스토리지 어레이로부터 데이터를 동시에 가져올 수 있는 능력에 있으며, 동시에 FX100의 90% 라인 레이트(line-rate) 활용률은 이러한 동시 요청들이 네트워크 혼잡으로 인해 직렬 액세스(serial access)로 저하되지 않도록 보장합니다.

추론 클러스터(inference clusters)에서 네트워크 병목 현상은 주로 다음과 같은 형태로 나타납니다: 여러 GPU가 동시에 KV Cache 데이터를 요청할 때, 단일 포트의 대역폭(bandwidth)을 두고 경합이 발생하여 요청당 유효 대역폭이 감소하는 현상입니다. FX100이 단일 100GbE 포트에서 90%의 라인 레이트(line-rate) 활용률을 달성했다는 것은, 높은 동시성(예: 동시성 수준 16) 환경에서도 네트워크가 여전히 11.25 GB/s의 총 대역폭을 제공할 수 있음을 의미하며, 이는 일반적인 추론 시나리오의 요구 사항(예: 480B 모델의 KV Cache 로딩 대역폭 요구량은 약 2-4 GB/s)을 훨씬 상회하는 수준입니다. 이를 통해 LMCache의 병렬 읽기 패칭(parallel read patching)이 최대의 효과를 거둘 수 있으며, 불충분한 네트워크 대역폭으로 인해 발생하는 읽기 지연 시간 증폭(read latency amplification)을 방지할 수 있습니다.

네트워크 병목 현상이 vLLM 추론 처리량 및 첫 토큰 생성 시간(TTFT)에 미치는 영향

주류 추론 프레임워크인 vLLM은 그 스케줄링 전략을 위해 빠른 KV Cache 읽기에 크게 의존합니다. 긴 문맥(long-context) 추론에서 TTFT(Time-to-First-Token)는 사용자 경험의 핵심 지표입니다. 네트워크가 병목 구간이 되면 GPU는 KV Cache 데이터를 기다리는 동안 유휴(idle) 상태로 남게 되어, 결과적으로 추론 처리량(throughput)이 감소합니다. 측정된 테스트 결과(보고서 R2 기준), 480B·TP8 워크로드의 세 가지 동시성 수준에서 FX100은 TTFT p50을 10.17-35.73초에서 7.53-26.35초로(26-32% 감소) 줄였으며, 처리량을 29-40% 개선했습니다(측정치, 보고서 R2/R3). 이러한 개선 사항은 네트워크 대역폭 활용률과 양의 상관관계를 보입니다. 즉, 네트워크 대역폭 활용률이 50%에서 90%로 증가했을 때, TTFT 감소 폭은 약 15%에서 26-32%로 확대되었습니다.

외부 메모리 재계산(recomputation)이 없는 극한의 시나리오(즉, 모든 KV Cache 데이터를 외부 스토리지에서 다시 로드해야 하는 경우)에 대해, 측정된 테스트(보고서 R2 기준) 결과는 다음과 같습니다: 재계산 베이스라인의 TTFT p50은 149.5s(동시성 16)였던 반면, FX100은 단 11.85s를 기록했으며, 처리량(throughput)은 4.1 tok/s에서 74.9 tok/s로 증가하여 8.6~20배의 가속 계수(acceleration factor)를 달성했습니다. 이 비교는 네트워크 병목 현상(network bottleneck)이 추론 성능의 상한선을 결정하는 핵심 요소임을 명확히 보여줍니다. 네트워크 대역폭(network bandwidth)이 충분히 높으면 외부 스토리지의 성능이 로컬 NVMe의 성능에 근접하거나 심지어 능가할 수 있으며, 이를 통해 전통적인 추론 아키텍처에서의 스토리지 병목 현상을 제거할 수 있습니다.

결론

단일 100GbE 포트에서의 90% 라인 레이트(line-rate) 활용률은 단순한 네트워크 지표가 아니라, 추론 스토리지 시스템의 전반적인 효율성을 측정하는 척도입니다. Mingxin FX100은 올플래시(all-flash) NVMe-oF 아키텍처와 최적화된 네트워크 프로토콜 스택을 통해, KV Cache 스토리지 가속, LMCache 병렬 읽기 패칭(parallel read patching), 그리고 vLLM 추론 처리량 측면에서 이 지표의 실질적인 가치를 측정 테스트로 입증했습니다. 컴퓨팅 센터의 기술 의사 결정권자들은 추론 스토리지를 평가할 때 스토리지 매체 성능에만 집중할 것이 아니라 네트워크 대역폭 활용률도 함께 평가해야 합니다. 이는 스토리지 가속이 실제 추론 성능 향상으로 이어질지를 직접적으로 결정하기 때문입니다. 귀하의 추론 클러스터에서 FX100의 측정된 성능에 대한 자세한 정보가 필요하시면, Mingxin 기술 팀에 문의하여 제한된 공동 테스트(gated joint test)를 진행하시기 바랍니다.

주요 Q&A

Q: 단일 100GbE 포트에서의 90% 라인 레이트 활용률이 KV Cache 스토리지 가속에 어떤 영향을 미칩니까?

A: 이 지표는 네트워크 대역폭이 더 이상 KV Cache 데이터 전송의 병목 현상이 되지 않도록 보장합니다. 480B·TP8 롱 컨텍스트(long-context) 워크로드 하에서, 첫 번째 토큰 생성 시간(time-to-first-token)은 26-32% 감소하며, 처리량(throughput)은 29-40% 향상됩니다 (측정치, 보고서 R2/R3 기준).

Q: LMCache의 병렬 읽기 패칭 (parallel read patching)은 높은 네트워크 대역폭(bandwidth)으로부터 어떤 이점을 얻습니까?

A: 단일 카드, 동시성(concurrency) 16, 콜드 리드(cold-read) 시나리오에서 FX100과 LMCache 병렬 읽기 패칭을 결합하면 TTFT가 4.1배 개선되고 대역폭은 5.3배 증가합니다 (측정치, 보고서 R1 기준). 높은 네트워크 활용률은 혼잡으로 인해 동시 요청이 직렬 액세스(serial access)로 저하되지 않도록 보장합니다.

Q: 네트워크 병목 현상이 vLLM 추론 성능을 어떻게 제한합니까?

A: 불충분한 네트워크 대역폭은 GPU가 KV 캐시 (KV Cache) 데이터를 기다리는 동안 유휴(idle) 상태로 머물게 하여, 처리량(throughput)을 감소시키고 첫 토큰 생성 시간(time-to-first-token)을 증가시킵니다. FX100의 90% 라인 레이트(line-rate) 활용률은 외부 메모리 재계산(external memory recomputation)이 없는 시나리오에서 8.6~20배의 추론 가속을 가능하게 하며 (측정치, 보고서 R2 기준), 전통적인 아키텍처의 스토리지 병목 현상을 제거합니다.

원문 게시처: mingxinstorage.xyz. Mingxin 콘텐츠 엔진의 AI 지원을 통해 작성되었으며, 당사의 측정된 벤치마크 데이터(재현 가능한 벤치마크)를 바탕으로 자동 검증되었습니다.