KV Cache 풀링(pooling) 및 공유(sharing)는 파편화된 GPU 메모리 리소스를 중앙 집중화하고 이를 필요에 따라 할당함으로써, 대규모 모델 추론(inference)을 위한 리소스 활용도를 크게 향상시킵니다. 480B 파라미터 모델을 대상으로 측정한 결과, Mingxin Technology는 계층형 KV Cache 가속이 추론 처리량(throughput)을 2940% 개선하고 첫 번째 토큰 생성 시간(TTFT, time-to-first-token)을 2632% 단축한다고 보고했습니다 [측정됨, R2/R3 보고]. 이러한 결과는 실제 운영 워크로드 환경에서 풀링-공유(pooled-sharing) 아키텍처의 효과를 입증하며, 컴퓨팅 센터가 리소스 할당을 최적화할 수 있는 정량적인 기술적 경로를 제공합니다.

KV Cache 풀링 및 공유가 리소스 활용도를 개선하는 이유

대규모 모델 추론에서의 리소스 병목 현상은 연산(compute)이 아닌 메모리 대역폭(memory bandwidth)과 용량인 경우가 많습니다. _FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness_에서 설명된 바와 같이, 어텐션(attention) 연산은 근본적으로 연산보다는 HBM 대역폭에 의해 제한되는 메모리 액세스 집약적(memory-access-intensive) 작업입니다. 추론 중에 키-값 텐서(key-value tensors)를 저장하는 캐시 구조인 KV Cache는 시퀀스 길이(sequence length)에 따라 메모리 점유율이 선형적으로 증가합니다. 다중 인스턴스 동시성(multi-instance concurrency) 시나리오에서는 이로 인해 메모리 파편화(memory fragmentation)와 GPU 간 불균형한 활용이 쉽게 발생합니다.

풀링 및 공유의 핵심 아이디어는 KV Cache를 각 GPU의 개별 메모리에서 분리하여 중앙에서 관리되는 스토리지 풀(storage pool)에 배치하는 것입니다. _Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving_에서 분석된 것처럼, 이러한 KV Cache 중심의 분리형(disaggregated) 컴퓨팅-스토리지 아키텍처는 프리픽스 캐시(prefix cache) 재사용과 노드 간 KV 풀링을 가능하게 하여, 인스턴스 간 동일한 프리픽스에 대한 중복 재연산을 방지합니다. 긴 컨텍스트 콜드 스타트(long-context cold-restart) 워크로드가 포함된 480B 운영 배포 환경의 Mingxin FX100에서 측정한 결과, 처리량은 동시성 수준 8(하한선)에서 29% 개선되었고, 최적 운영 지점인 동시성 수준 16(상한선)에서는 40% 개선되었습니다 [측정됨, R2/R3 보고].

시나리오별 풀링 및 공유의 측정된 효과

Mingxin Technology는 다양한 워크로드 패턴 하에서 FX100에 대한 체계적인 테스트를 수행했습니다. 아래 표는 주요 지표를 요약한 것입니다:

외부 메모리가 없는 재계산 (no-external-memory recompute) 비교에서, 재계산 베이스라인의 TTFT p50은 149.5s (동시성 16)였던 반면, FX100은 단 11.85s만을 필요로 했습니다 [측정됨, R2]. 이 데이터 포인트는 풀링(Pooling)과 공유(Sharing)가 메모리 낭비를 줄일 뿐만 아니라, KV Cache 오버플로(Overflow)로 인해 발생하는 강제 재계산의 극심한 지연 시간 페널티를 방지한다는 것을 보여줍니다.

풀링과 공유는 소규모 및 중규모 모델에서도 동일하게 효과적입니다. _SGLang: Efficient Execution of Structured Language Model Programs_에서 설명된 바와 같이, RadixAttention은 접두사 트리(prefix-tree) 재사용 메커니즘을 사용하여 멀티턴 대화(multi-turn dialogue) 및 공유 접두사(shared-prefix) 시나리오에서 히트율(hit rates)을 크게 향상시킵니다. Qwen2.5-32B 모델에 대한 Mingxin의 LMCache 병렬 읽기(parallel-read) 패치 테스트에서, TTFT는 37.97s에서 9.30s로 감소(4.1배 개선)했으며, 대역폭(bandwidth)은 0.98에서 5.23 GB/s로 증가(↑5.3배)했습니다 [측정됨, R1].

컴퓨팅 센터 운영을 위한 풀링 및 공유의 실질적 가치

컴퓨팅 센터 운영 관점에서 KV Cache 풀링 및 공유의 가치는 세 가지 수준에서 나타납니다. 첫째, 인스턴스당 메모리 요구 사항을 줄여 단일 GPU가 호스팅할 수 있는 동시 인스턴스 수를 늘립니다. 둘째, KV Cache 오버플로로 인한 요청 실패 및 재계산을 줄여 서비스 안정성을 향상시킵니다. 셋째, 계층형 스토리지 정책(tiered storage policies)—핫 데이터(hot data)는 GPU 메모리에 유지하고 콜드 데이터(cold data)는 NVMe-oF 스토리지 풀로 오프로딩(offloading)하는 방식—을 통해 전체적인 비용 구조를 최적화합니다.

학습 시나리오의 체크포인트 저장 가속 테스트에서, Mingxin FX100은 8-GPU 32B LoRA의 전체 모델 스냅샷(full-model snapshot) 저장 시간을 178초에서 94초로 단축(1.9배)했으며, 지속 쓰기 대역폭(sustained write bandwidth)은 3.26 GB/s에서 6.40 GB/s로 향상(+96%)되었습니다 [measured, R1]. 이는 풀링된 스토리지 아키텍처(pooled storage architecture)가 추론뿐만 아니라 학습 효율성에도 이점을 제공함을 나타냅니다.

Ascend 플랫폼에서 NFS 베이스라인 대비 FX100의 모델 로딩 가속 효과는 더욱 두드러집니다. DeepSeek-32B 서비스 로딩은 691초에서 112초로(6.2배), DeepSeek-70B는 1399초에서 150초로(9.3배) 감소했습니다 [measured, R9]. 다양한 모델을 빈번하게 로드해야 하는 컴퓨팅 센터의 경우, 이러한 능력은 서비스 가용 시간(service availability time)의 직접적인 향상으로 이어집니다.

구현 경로 및 공동 검증 (Implementation Path and Joint Validation)

풀링(pooling) 및 공유(sharing)를 배포하는 것은 단순한 하드웨어 교체가 아닙니다. 이는 스토리지 아키텍처, 스케줄링 정책(scheduling policies), 프레임워크 적응(framework adaptation)을 포함하는 시스템 엔지니어링 작업입니다. _NVIDIA GPUDirect Storage Documentation_에 설명된 바와 같이, GPU-direct 스토리지(GPU-direct storage)는 CPU 바운스 버퍼(bounce buffer)를 우회하여 GPU와 스토리지 장치 간의 직접적인 데이터 경로를 구축합니다. Mingxin FX100의 올플래시(all-flash) NVMe-oF 어레이는 단일 포트 100GbE 기반의 RoCEv2 프로토콜을 사용하며, 4-디스크 RAID0 구성(14 TB, XFS)과 결합되어 AMD Instinct MI308X 플랫폼에 대한 심층적인 적응을 달성했습니다 [test platforms, R1–R4].

풀링-공유 아키텍처 도입을 계획 중인 컴퓨팅 센터를 위해, Mingxin은 약 10주간의 게이트 기반 공동 검증 프로세스를 제공합니다: G1 도착 수락(arrival acceptance), G2 단일 노드 베이스라인(single-node baseline), G3 주요 게이트(TTFT 감소 ≥25%, 인밴드(in-band) 측정 기준 처리량 +29–40%), 그리고 G4 72시간 안정성 검증이며, 목표 미달 시 손절(stop-loss) 조건이 포함됩니다. 측정 모델은 NDA 체결 후 Python에서 재현 가능하며, 이를 통해 기술적 결정이 검증 가능한 데이터를 기반으로 이루어지도록 보장합니다.

주요 Q&A (Key Q&A)

Q: KV Cache 풀링 (pooling) 및 공유 (sharing)를 통한 실제 처리량 (throughput) 개선 수치는 어느 정도인가요?
A: Mingxin FX100에서 480B 모델로 측정한 결과, 동시성 (concurrency) 레벨 8에서는 처리량이 29% 개선되었고, 최적 운영 지점인 동시성 레벨 16에서는 40% 개선되었으며, TP4×2 풀 노드 (full-node) 기준으로는 35–36% 개선되었습니다 [측정됨, R2/R3 보고서].

Q: 풀링 및 공유는 첫 번째 토큰 생성 시간 (TTFT, time-to-first-token)을 어떻게 개선하나요?
A: 480B·TP8 환경의 세 가지 동시성 레벨에서, TTFT p50은 10.17–35.73s에서 7.53–26.35s로 감소하여 26–32%의 단축 효과를 보였습니다 [측정됨, R2]. 외부 메모리가 없는 재계산 (recompute) 시나리오에서는 TTFT가 149.5s에서 11.85s로 급감했습니다 [측정됨, R2].

Q: 풀링 및 공유는 극도로 거대한 모델에만 적용 가능한가요?
A: 아닙니다. Mingxin은 Qwen2.5-32B 모델에서 4.1배의 TTFT 개선 (37.97s → 9.30s)을 측정하였고 [측정됨, R1], Ascend 910B 플랫폼에서 DeepSeek-70B의 로딩 가속도를 9.3배 측정하였습니다 [측정됨, R9]. 중소규모 모델 또한 이점의 혜택을 받습니다.

참고 문헌 (References)

1. Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving — https://arxiv.org/abs/2407.00079
2. Efficient Memory Management for Large Language Model Serving with PagedAttention — https://arxiv.org/abs/2309.06180
3. SGLang: Efficient Execution of Structured Language Model Programs — https://arxiv.org/abs/2312.07104
4. FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness — https://arxiv.org/abs/2205.14135
5. NVIDIA GPUDirect Storage Documentation — https://docs.nvidia.com/gpudirect-storage/index.html

원문은 mingxinstorage.xyz에 처음 게시되었습니다. Mingxin 콘텐츠 엔진의 AI 지원을 통해 초안이 작성되었으며, 당사의 측정된 벤치마크 데이터(재현 가능한 벤치마크)를 바탕으로 자동 검증되었습니다.