서론

컴퓨팅 센터의 3계층 스토리지 아키텍처(hot, warm, cold)에서, KV Cache의 계층화(tiering) 위치는 추론 성능과 TCO를 결정하는 중요한 변수로 떠오르고 있습니다. 결론부터 말씀드리면, KV Cache는 단순히 로컬 DRAM이나 일반적인 cold storage에 할당하기보다는, 전용 가속 레이어(예: all-flash NVMe-oF 어레이인 Mingxin FX100)를 통해 "warm storage" 계층 내에서 가장 빈번하게 액세스되는 하위 집합으로 취급되어야 합니다. 이러한 판단은 두 가지 요인에 근거합니다. 첫째, 480B급 MoE 모델을 사용하는 롱 컨텍스트(long-context) 추론 시, KV Cache 용량 요구 사항은 이미 단일 GPU의 HBM이 수용할 수 있는 범위를 훨씬 초과합니다. 둘째, Mingxin FX100을 사용한 AMD MI308X 플랫폼에서의 측정 결과에 따르면, KV 계층화 가속을 통해 처리량(throughput)은 2940% 향상되었고, 첫 번째 토큰 생성 시간(TTFT) 지연 시간은 2632% 감소했습니다 [출처: 측정값, R2/R3 보고서].

3계층 스토리지 아키텍처에서 KV Cache를 단순히 "Hot" 또는 "Cold" 계층에 배치할 수 없는 이유

컴퓨팅 센터의 전통적인 3계층 스토리지 아키텍처는 일반적으로 액세스 빈도와 매체 비용에 따라 hot 계층(DRAM/HBM), warm 계층(NVMe all-flash), cold 계층(HDD/object storage)으로 나뉩니다. 순수 추론 시나리오에서는 모델 가중치(model weights)와 KV Cache 모두 높은 빈도의 액세스가 필요하지만, 이들의 용량과 액세스 패턴은 근본적으로 다릅니다.

모델 가중치는 정적이며 로드되면 GPU 메모리에 상주합니다. 반면, KV Cache는 동적으로 성장하며 시퀀스 길이(sequence length)에 따라 선형적으로 확장됩니다. Qwen3-Coder-480B-FP8을 예로 들면, 가중치는 약 450 GB인 반면, 롱 컨텍스트 시나리오에서 KV Cache 용량 요구 사항은 수백 GB 또는 심지어 TB 규모에 달할 수 있으며, 이는 단일 GPU의 192 GB HBM 용량을 훨씬 초과합니다 [출처: R1 테스트 플랫폼 설명]. 이는 KV Cache가 스토리지로 부분적으로 스필 아웃(spill)되어야 함을 의미하며, 스필 위치의 선택은 캐시 미스(cache miss)가 발생할 때마다 발생하는 재계산(recomputation) 비용을 직접적으로 결정합니다.

만약 KV Cache를 단순히 콜드 스토리지 (cold storage, 예: HDD 또는 원격 오브젝트 스토리지)에 배치한다면, 모든 액세스마다 네트워크 트래버설 (network traversal)과 기계적 탐색 (mechanical seek)이 필요하게 되어 TTFT (Time To First Token)가 급격히 악화됩니다. Mingxin의 보고서 R2에서 측정된 데이터에 따르면, 외부 스토리지 재계산 (recomputation)이 없는 베이스라인 시나리오에서 동시성 (concurrency) 16, 480B 모델의 TTFT p50은 149.5초에 달하지만, FX100을 연결한 후에는 11.85초로 떨어지며 12.6배의 속도 향상을 보여줍니다 [출처: 측정값, 보고서 R2]. 이 비교는 KV Cache를 위한 스필 계층 (spill tier)이 메모리 인접 랜덤 읽기 (near-memory random read) 성능을 제공해야 하며, 전통적인 콜드 스토리지는 이를 제공할 수 없음을 입증합니다.

웜 스토리지 계층 내 KV 계층화의 위치 선정: 측정 데이터 및 TCO 근거

웜 스토리지 (warm storage) 계층 내에서 KV Cache를 "최고 빈도 액세스 서브셋 (highest-frequency-access subset)"으로 취급해야 하는 근거는 성능과 비용 두 가지 측면에서 논의될 수 있습니다.

성능 측면에서, 480B·TP8 롱 컨텍스트 (long-context) 워크로드 시, Mingxin FX100은 세 가지 동시성 수준 (8/16/32) 전체에서 TTFT p50을 10.1735.73초에서 7.5326.35초로 단축하며, 이는 2632%의 감소를 의미합니다 [출처: 측정값, 보고서 R2]. 처리량 (throughput) 측면에서는 동시성 8에서 29% 향상 (하한값), 최적 운영 지점인 동시성 16에서 40% 향상 (상한값), 그리고 전체 시스템 TP4×2 지표에서 3536% 향상을 보여줍니다 [출처: 측정값, 보고서 R3]. 이러한 수치들은 KV 계층화 가속이 단순한 미미한 최적화가 아니라, 추론 파이프라인 (inference pipeline)의 핵심 병목 현상을 직접적으로 해결한다는 것을 나타냅니다.

비용 측면에서 3계층 스토리지 (three-tier storage)의 TCO 논리는 다음과 같습니다. 핫 계층 (hot tier, HBM)은 단위 용량당 비용이 가장 높고, 웜 계층 (warm tier, all-flash NVMe)이 그다음이며, 콜드 계층 (cold tier, HDD)이 가장 낮습니다. 그러나 KV Cache의 액세스 빈도는 일반적인 웜 데이터 (warm data)보다 훨씬 높습니다. 생성되는 모든 토큰 (token)이 KV 읽기를 유발할 수 있기 때문입니다. 만약 KV Cache를 전부 HBM에 배치한다면 GPU 메모리 용량을 대폭 확장해야 하므로 단위당 비용을 감당할 수 없게 됩니다. 반대로 전부 콜드 계층에 배치한다면 성능 저하로 인해 GPU 활용률 (utilization)이 낮아져, 역설적으로 토큰당 비용 (per-token cost)이 상승하게 됩니다.

Mingxin FX100의 가격 책정은 참조 기준점을 제공합니다. 풀 구성 기준 참조 가격은 약 ¥371,200 (약 ¥2,014/TB)입니다 [출처: 견적 참조 가격]. GB당 HBM 비용과 비교했을 때, 이 가격은 KV Cache를 all-flash NVMe로 계층화하는 한계 비용 (marginal cost)이 HBM을 확장하는 것보다 훨씬 낮음을 의미합니다. 동시에 성능 이점 (TTFT 26–32% 감소, 처리량(throughput) 29–40% 증가)은 매체 차이로 인해 발생하는 지연 시간 (latency) 증가를 상쇄하기에 충분합니다 [출처: 측정값, R2/R3 보고서]. 이것이 웜 스토리지 계층 (warm storage tier)에서 KV 계층화가 갖는 핵심 가치입니다. 즉, 매체 비용의 약 1/10 수준으로 메모리 액세스에 근접한 성능을 달성하는 것입니다.

컴퓨팅 센터 배포를 위한 실질적 경로: 게이트 기반 공동 테스트 및 재현 가능한 측정

컴퓨팅 센터 구축자들에게 KV 계층화 (KV tiering)를 구현하는 것은 단순히 하드웨어를 선택하는 작업이 아니라, 검증 가능한 평가 프로세스를 필요로 합니다. Mingxin이 제안하는 약 10주간의 게이트 기반 공동 테스트 모델 (G1 도착 수락 / G2 단일 노드 베이스라인 / G3 메인 게이트: TTFT 25% 이상 감소, 대역 내(in-band) 측정 시 처리량 29–40% 증가 / G4 72시간 안정성)은 저위험 채택 경로를 제공합니다 [출처: 협업 모델 설명]. 이 모델의 핵심 원칙은 목표 미달 시 손실을 차단하는 것이며, 측정 모델은 NDA(비밀유지계약) 체결 후 Python을 통해 재현 가능합니다.

이 모델의 가치는 KV 계층화 (KV tiering)의 이점을 "공급업체의 주장"에서 "감사 가능한 측정 지표"로 전환하는 데 있습니다. G3 게이트를 예로 들면, TTFT (첫 토큰 생성 시간) 25% 이상 감소 및 처리량 (throughput) 29~40% 증가 목표는 R2/R3 측정 데이터 범위와 직접적으로 일치하며, 이는 구매자가 소규모 검증을 거친 후에만 대규모 배포를 결정할 수 있음을 의미합니다 [출처: 측정됨, R2/R3 보고서]. 컴퓨팅 센터의 경우, 이는 신기술 도입의 불확실성을 줄여주며, TCO (총 소유 비용) 계산이 이론적 모델에 의존하는 대신 측정된 데이터에 기반을 두도록 합니다.

결론

KV Cache 계층화는 컴퓨팅 센터의 3계층 스토리지 아키텍처에서 핫 (hot) 계층과 콜드 (cold) 계층을 잇는 중추적인 위치를 차지합니다. 이는 단순히 핫 계층에 배치할 수도 없고 (비용 통제 불능), 콜드 계층에 배치할 수도 없으며 (성능 수용 불가), 전용 가속 레이어에 의해 서비스되는 웜 (warm) 스토리지 계층 내의 최고 빈도 액세스 서브셋 (subset)으로 취급되어야 합니다. Mingxin FX100의 측정 데이터에 따르면, 이 계층화 전략은 480B급 모델에서 정량화된 이점을 제공합니다: TTFT 2632% 감소 및 처리량 2940% 향상 [출처: 측정됨, R2/R3 보고서]. 컴퓨팅 센터 스토리지 아키텍처를 계획하는 기술 의사 결정권자들은 KV 계층화를 웜 스토리지 계층의 필수 평가 항목으로 포함하고, 게이트 기반 공동 테스트를 통해 실제 이점을 검증할 것을 권장합니다.

Mingxin Technology는 스토리지 가속 및 풀체인 (full-chain) 컴퓨팅 센터 서비스를 제공하며, FX 시리즈를 기반으로 한 공동 테스트 협업을 지원합니다. 니즈가 있는 팀은 검증을 위해 언제든 문의해 주시기 바랍니다.

주요 Q&A

Q: 3계층 스토리지 아키텍처 내에서 KV Cache는 어느 계층에 배치되어야 합니까?
A: 단순히 Hot 계층이나 Cold 계층에 배치하기보다는, Warm 스토리지 계층 내에서 가장 빈번하게 액세스되는 하위 집합(subset)으로 취급하여 전용 All-flash NVMe-oF 가속 계층을 통해 제공되어야 합니다. 그 근거는 480B 모델을 사용하는 롱 컨텍스트 (Long-context) 시나리오에서 KV Cache 용량이 단일 GPU의 HBM 용량을 초과하여 TB(테라바이트) 규모에 달할 수 있는 반면, Cold 스토리지의 성능은 추론 지연 시간 (Inference latency) 요구 사항을 충족할 수 없기 때문입니다.

Q: KV 계층화 가속을 통해 측정된 이점은 무엇입니까?
A: 480B·TP8 롱 컨텍스트 워크로드 환경에서 Mingxin FX100은 TTFT (Time To First Token) p50을 26–32% 감소시키고, 처리량 (Throughput)을 29–40% 향상시켰습니다 (동시성 8일 때 하한선 29%, 동시성 16일 때 상한선 40%) [출처: 측정값, R2/R3 보고서]. 외부 스토리지 재계산 (Recomputation)이 없는 시나리오에서는 TTFT가 149.5초에서 11.85초로 감소하여 약 12.6배의 속도 향상을 보였습니다 [출처: 측정값, R2 보고서].

Q: KV 계층화 솔루션의 실제 이점을 어떻게 검증할 수 있습니까?
A: 정량화 가능한 주요 게이트 지표(예: TTFT 감소율 ≥25%, 처리량 +29–40%)를 설정하는 게이트 기반 공동 테스트 모델을 채택할 것을 권장하며, 소규모 검증을 통과한 후에만 규모 있는 배포를 진행해야 합니다. Mingxin은 약 10주간의 게이트 기반 공동 테스트 프로세스를 제공하며, NDA (비밀유지계약) 체결 후 Python을 통해 재현 가능한 측정 모델을 제공합니다 [출처: 협업 모델 설명].

원문 게시처: mingxinstorage.xyz. Mingxin 콘텐츠 엔진의 AI 지원을 통해 작성되었으며, 당사의 측정된 벤치마크 데이터(재현 가능한 벤치마크)를 바탕으로 자동 검증되었습니다.