컴퓨팅 센터의 프로덕션 환경에서 모델 스위칭(Model switching)과 콜드 스타트(Cold starts)로 인한 GPU 유휴 시간은 유효 연산 활용도(Effective compute utilization) 손실의 주요 원인입니다. Mingxin Technology는 AMD MI308X 플랫폼에서 계층형 KV 캐시(KV Cache) 가속 및 병렬 읽기 최적화를 도입함으로써, 유효 연산 활용도를 46.7%에서 62.8%로 개선할 수 있으며(측정치, 보고서 R2/R3), 첫 토큰 생성 시간(TTFT, Time-to-first-token)을 26%~32% 단축할 수 있음을 여러 건의 서명된 테스트 보고서를 통해 기록했습니다. 이 접근 방식은 하드웨어 스태킹(Hardware stacking)에 의존하는 것이 아니라 스토리지 계층과 추론 프레임워크(Inference framework) 간의 조율된 최적화에 기반하며, 기존 컴퓨팅 자산의 잠재력을 끌어올리기 위한 직접적인 참조 가치를 제공합니다.

왜 모델 스위칭이 "보이지 않는" GPU 활용도 손실을 유발하는가?

혼합 워크로드(Mixed workloads)를 처리하는 컴퓨팅 센터에서 GPU는 항상 유효한 연산을 수행하는 것은 아닙니다. 모델 스위칭, 콜드 스타트 로딩, 그리고 KV 캐시(KV Cache) 미스로 인한 중복 연산은 모두 귀중한 연산 시간 슬라이스를 소비합니다. 480B 파라미터 MoE 모델을 예로 들면, 가중치 파일(Weight files)의 크기는 약 450GB에 달합니다. 외부 스토리지 가속이 없는 베이스라인 시나리오에서, 콜드 스타트 재연산에 따른 TTFT p50은 149.5초에 달합니다(동시성 수준 16, 측정치, 보고서 R2). 이는 거의 150초 동안 GPU가 할당되어 있음에도 불구하고 토큰을 전혀 생성하지 못함을 의미하며, 유효 연산 활용도는 0에 수렴하게 됩니다.

더 미묘한 손실은 중복된 KV 캐시(KV Cache) 연산에서 발생합니다. 긴 문맥 추론(Long-context inference) 시, KV 캐시가 GPU 메모리와 외부 스토리지 사이에서 효율적으로 흐르지 못하면, 모든 문맥 전환(Context switch)마다 과거 토큰에 대한 키-값(Key-value) 쌍을 재연산해야 합니다. 480B·TP8 3단계 동시성 테스트에서 베이스라인 TTFT p50은 10.17~35.73초 범위였으며(측정치, 보고서 R2), 이 시간의 상당 부분은 새로운 토큰 생성보다는 중복된 KV 연산에 소비되었습니다.

46.7%에서 62.8%로: 3단계의 측정된 최적화 경로

Mingxin FX100은 R2/R3 테스트에서 베이스라인(baseline)부터 최적화된 성능에 이르기까지의 완전한 경로를 입증했으며, 핵심 조치는 세 단계로 나뉩니다.

1단계: 중복 연산을 제거하기 위한 계층형 KV 캐시 (KV Cache) 가속. 올플래시 (all-flash) NVMe-oF 어레이로서, FX100은 KV 캐시 (KV Cache)를 GPU 메모리에서 스토리지 계층으로 오프로드 (offload)하고 계층화 전략(hot data는 GPU 메모리에, warm data는 스토리지에 상주)을 통해 재연산을 줄입니다. 480B 프로덕션 배포 환경의 롱 컨텍스트 (long-context) 콜드 리커버리 (cold-recovery) 워크로드 하에서, 추론 처리량 (inference throughput)은 동시성 레벨 8에서 29%(하한값) 개선되었고, 최적 운영 지점인 동시성 레벨 16에서는 40%(상한값)에 도달했으며, 전체 머신 TP4×2 스케일에서는 35~36% 개선되었습니다 (측정됨, R2/R3 보고서).

2단계: 콜드 리드 (cold-read) 지연 시간을 압축하기 위한 병렬 읽기 패치. 콜드 스타트 (cold start) 중에는 모델 가중치 (model weights)와 KV 캐시 (KV Cache)를 스토리지에서 GPU 메모리로 읽어 들여야 합니다. Mingxin은 LMCache 업스트림 메인라인 (LMCache upstream mainline, 소스 컴파일 2026-06-29) 위에 병렬 읽기 패치 (parallel read patch)를 구현했습니다. 단일 GPU, 동시성 16의 콜드 리드 시나리오 (Qwen2.5-32B)에서, TTFT (Time To First Token)는 37.97초에서 9.30초로 감소하여 4.1배 개선되었으며, 읽기 대역폭 (read bandwidth)은 0.98 GB/s에서 5.23 GB/s로 증가하여 5.3배 개선되었습니다 (측정됨, R1 보고서). 대역폭 병목 현상을 제거함으로써 GPU가 데이터를 기다리며 소비하는 시간을 크게 단축했습니다.

3단계: 모델 스위칭 (model switching) 윈도우를 단축하기 위한 엔드 투 엔드 (end-to-end) 로드 가속. 모델 스위칭 (model switching)은 KV 캐시 (KV Cache) 마이그레이션뿐만 아니라 가중치 파일의 재로드도 포함합니다. Huawei Atlas 910B 플랫폼에서 FX100은 NFS 베이스라인과 비교했을 때, DeepSeek-32B 서비스 로드 시간을 691초에서 112초로 (6.2배), DeepSeek-70B의 경우 1399초에서 150초로 (9.3배) 단축했습니다 (측정됨, R9 보고서, Ascend 플랫폼).

로드 윈도우 (load window)를 압축한다는 것은 "이전 모델"과 "다음 모델" 사이의 GPU 유휴 시간 (idle period)이 현저히 짧아짐을 의미합니다.

위의 세 단계를 결합했을 때, R2/R3 480B 멀티 인스턴스 (multi-instance) 테스트에서 유효 연산 활용도 (effective compute utilization, GPU가 실제로 토큰을 생성하는 시간의 비율로 측정)는 기준치인 46.7%에서 62.8%로 향상되었으며, 이는 약 16%포인트의 증가를 의미합니다. 이 결과는 GPU 모델을 변경하거나 카드를 추가하지 않고, 오로지 스토리지 계층 (storage layer)과 추론 프레임워크 (inference framework)의 조율된 최적화만을 통해 달성되었습니다.

컴퓨팅 센터 의사 결정권자를 위한 세 가지 시사점

첫째, 연산 활용도 평가는 "모델 스위칭 손실 (model switching loss)" 차원을 포함해야 합니다. 전통적인 모니터링은 종종 평균 GPU 활용도 (예: 70%–80%)에 집중하지만, 이 수치는 스위칭 윈도우 (switching window) 동안의 유휴 시간 (idle time)을 가립니다. 저희는 "유효 연산 활용도 (effective compute utilization)" (유효 토큰 생성 시간 / 총 할당 시간)를 보조 지표로 채택할 것을 권장합니다. Mingxin이 측정한 경로는 이 지표에 16%포인트 이상의 최적화 여유 공간 (headroom)이 있음을 보여줍니다.

둘째, 스토리지 계층은 추론 최적화의 "라스트 마일 (last mile)"입니다. GPU 연산 능력과 메모리 용량이 고정되어 있을 때, 스토리지 읽기/쓰기 대역폭 (bandwidth)과 병렬성 (parallelism)이 콜드 스타트 (cold start) 및 KV 캐시 (KV Cache) 마이그레이션의 속도를 결정합니다. R1 테스트에서 Mingxin FX100은 트레이닝 체크포인트 (training checkpoint) 저장 시간을 178초에서 94초로 단축했으며, 지속적인 쓰기 대역폭을 3.26 GB/s에서 6.40 GB/s로 개선(+96%)하여, 트레이닝과 추론 모두에 대한 스토리지 계층 최적화의 이중 효과를 입증했습니다.

셋째, 최적화 경로는 재현 가능하고 검증 가능해야 합니다. Mingxin은 약 10주간의 게이트형 공동 테스트 (gated joint-testing) 모델을 채택하고 있습니다 (G1 도착 수락 / G2 단일 노드 기준점 / G3 주요 게이트: TTFT 감소 ≥25%, 인밴드 (in-band) 측정 기준 처리량(throughput) +29–40% / G4 72시간 안정성). 목표를 달성하지 못할 경우 손절 (stop-loss) 절차를 따릅니다. 이 측정 모델은 NDA 체결 후 Python에서 재현 가능하며, 컴퓨팅 센터에 기술 선택을 위한 저위험 검증 프레임워크를 제공합니다.

결론

모델 스위칭의 숨겨진 비용은 컴퓨팅 센터 활용도 보고서에 나타나는 "회색 코뿔소 (gray rhino)"입니다. Mingxin FX100의 측정 데이터는 계층형 KV Cache 가속 (tiered KV Cache acceleration), 병렬 읽기 최적화 (parallel read optimization), 그리고 엔드 투 엔드 부하 가속 (end-to-end load acceleration)을 통해 유효 컴퓨팅 활용도를 46.7%에서 62.8%로 개선하는 것이 단일 사례가 아니라 완전한 테스트 보고서로 뒷받침되는 재현 가능한 경로임을 입증합니다. 스토리지 계층이 추론 성능에 미치는 영향을 평가하는 팀을 위해, Mingxin Technology는 제한적 공동 테스트 협업 (gated joint-testing collaboration)을 제공하며 귀하의 워크로드에 기반한 검증을 환영합니다.

주요 Q&A

Q: 유효 컴퓨팅 활용도를 46.7%에서 62.8%로 개선한 측정 근거는 무엇입니까?
A: 이 데이터는 AMD MI308X 플랫폼에서 Qwen3-Coder-480B-FP8 (MoE) 모델을 사용하여 수행된 Mingxin FX100의 공식 테스트 보고서 R2/R3에서 도출되었습니다. 최적화 방법은 계층형 KV Cache 가속 (tiered KV Cache acceleration)과 병렬 읽기 패치 (parallel read patches)였으며, GPU 하드웨어 변경은 없었습니다.

Q: 모델 스위칭의 숨겨진 비용은 주로 어디에서 나타납니까?
A: 이는 세 가지 영역에서 나타납니다: 콜드 스타트 (cold starts) 중의 중복된 KV Cache 연산, 스토리지로부터 모델 가중치(model weights)를 로드할 때 발생하는 지연 시간 (latency), 그리고 체크포인트 (checkpoint) 저장 중의 쓰기 스톨 (write stalls)입니다. Mingxin의 측정 결과에 따르면, 외부 스토리지 재연산이 없는 상태에서의 TTFT p50은 최대 149.5초(동시성 수준 16)에 달했으나, FX100을 사용하면 11.85초로 감소했습니다.

Q: Mingxin의 최적화 솔루션은 비-AMD (non-AMD) 플랫폼에도 적용 가능합니까?
A: 적용 가능성은 부분적으로 검증되었습니다. R9 테스트는 Huawei Atlas 910B (Ascend) 플랫폼에서 완료되었으며, NFS 베이스라인 대비 6.2~9.3배의 모델 로드 가속을 달성했습니다. 다른 GPU 플랫폼에 대한 적응은 제한적 공동 테스트 (gated joint testing, G1–G4)를 통해 검증할 수 있으며, 목표 미달 시 손절 (stop-loss) 조건이 적용됩니다.

원문은 mingxinstorage.xyz에서 처음 게시되었습니다. Mingxin 콘텐츠 엔진의 AI 지원을 통해 작성되었으며, 당사의 측정된 벤치마크 데이터(재현 가능한 벤치마크)를 바탕으로 자동 검증되었습니다.