KV 캐시가 병목 지점: 1비트 양자화, MoE 스트래글러, 초 단위 GPU 과금

2026년 9월 30일 ~ 10월 7일 기간의 LLM 추론 요약본을 소개합니다. 이 내용은 arXiv (cs.LG, cs.DC), vLLM 블로그, Hugging Face 블로그, Together AI 블로그, Modal 블로그, Latent Space 등에서 다루었습니다.

🔥 주요 내용

MegaFlux: Pipelined Expert Replication을 통한 편차에 강한 MoE 메가 커널 — 실제 운영 환경의 MoE 서빙에서 GPU 스트래글러를 해결합니다.
1비트 KV 캐시 압축을 위한 양자화 공간 조정 — 1비트 KV 캐시 양자화, 배치 크기 14배 증가.
Modal 클러스터 일반 사용 가능 — 멀티 노드 GPU 클러스터를 이제 초 단위로 과금합니다.

Modal Clusters are generally available
[AINews] Reflection Beam - 501B-A23B 미국 오픈 모델](https://www.latent.space/p/ainews-reflection-beam-501b-a23b) — 서빙 벤치마크 정리: 추측 디코딩, 엔진, 비용 라우팅.
LLM 서빙의 테스트 시간 스케일링을 위한 추측 검색 다루기 — 추론 중심의 서빙 워크로드를 위해 추측 실행 속도를 높입니다.

arXiv (cs.LG, cs.DC)

• MegaFlux: Pipelined Expert Replication을 통한 편향에 강한 MoE 메가커널 — 2026-09-30. MoE 서빙 과정에서 발생하는 라우팅 편향(Routing skew)은 GPU 스트래글러(stragglers)를 유발하여, 과부하된 GPU가 속도를 결정하고 다른 GPU는 유휴 상태에 머무르게 합니다. MegaFlux는 전문가 복제(expert replication)를 런타임 결정으로 처리하며, 그 결과로 발생하는 가중치 전송(weight-transfer) 및 기울기 감소(gradient-reduction) 트래픽을 메가커널 내부에서 파이프라인화합니다. NVIDIA B200 GPU 8개 환경에서 순방향(forward)으로 평균 기하속도 향상(geomean speedups) 1.45배, 역방향(backward)으로 1.28배를 보고했으며, 최대 2.64배에 달합니다. 또한 DeepSeek-V4-Pro의 vLLM 통합 전처리(prefill) 과정에서는 1.13–1.26배의 중앙값 종단 간(end-to-end) 속도 향상을 제공하여, 불균형한 전문가 부하를 가진 대규모 MoE 모델을 운영하는 모든 사람에게 구체적인 해결책을 제시합니다.

• 1비트 KV 캐시 압축을 위한 양자화 공간 맞춤 설계 — 2026-10-02. TaSQ는 질의 유도 채널 가중치(query-guided channel weighting), 교차 헤드 정규화(cross-head normalization), 공분산 인식 채널 그룹화(covariance-aware channel grouping)를 사용하여 벡터 양자화된 KV 캐시 압축을 1비트 영역으로 끌어올립니다. 이 모든 기능은 RoPE와 호환되며 기존의 투영 가중치 및 코드북에 통합될 수 있습니다. SGLang 구현을 RTX 6000 Ada 단일 장치에서 테스트한 결과, BF16 대비 14배 더 큰 배치 크기 지원과 1.87배 높은 최대 처리량(peak throughput)을 보여주었습니다. 이는 긴 컨텍스트 서빙 환경에서 메모리 여유 공간을 확보하는 저비용 방법입니다.

• LLM 서빙에서의 테스트 시간 스케일링을 위한 추측적 검색 제어 — 2026-09-30. SpecScale은 토큰 수준의 추측적 디코딩(speculative decoding)이 아닌, 테스트 시간 스케일링 추론 워크로드에 대한 추측적 실행을 목표로 합니다. 기존 방식에서는 후보 경로 폭발(candidate-path explosion)과 빈번한 세밀 검증(fine-grained verification)이 서빙 효율성을 저해했습니다. SpecScale은 약한 후보의 조기 가지치기(early pruning), 중복 계산 제거(deduplication of redundant computation), 그리고 지연된 검증(deferred verification)을 추가하여, 품질 손실 없이 MATH 및 올림피아드 벤치마크에서 상당한 처리량 및 지연 시간 향상을 보고했습니다. 이는 분기 추론(branching inference)이 필요한 추론 모델을 서빙하는 모든 사람에게 직접적으로 관련됩니다.

PatchKV: KV 캐시의 가중치 공간 보상 (Weight-Space Compensation of KV Cache) — 2026-09-30. 컨텍스트당 한 번 폐쇄형(ridge-regression) "가중치 패치(weight patch)"를 계산하여, 공격적인 KV 캐시 압축으로 인해 손실된 일부 컨텍스트를 캐시 대신 모델의 가중치에 통합하는 훈련이 필요 없는 기법입니다. 이는 단일 컨텍스트, 다중 쿼리 설정에서 쿼리당 추론 비용을 변경하지 않으므로, 이미 공격적인 캐시 제거(cache eviction)나 양자화(quantization)를 실행 중인 팀에게 드롭인 방식의 품질 복구 레이어를 제공합니다.
효율적인 LLM 서빙을 위한 형태 적응형 아키텍처와 분리된 양자화 (A Shape-Adaptive Architecture with Disaggregated Quantization for Efficient LLM Serving) — 2026-10-05. DynaCore는 재구성 가능한 시스틱 배열 유닛(reconfigurable systolic-array unit)과 "분리된 양자화(disaggregated quantization)"—프리필(prefill)을 위한 이중 측면 양자화(dual-side quantization), 디코드(decode)를 위한 가중치 전용 양자화—를 제안하는 하드웨어/아키텍처 공동 설계입니다. 이는 연속 배치 처리(continuous-batching) 및 프리필/디코드 분리형 서빙에 맞춰 조정되었습니다. 이 논문은 양자화 및 재구성 가능한 기준선 대비 TTFT 개선 3.50x/2.97x, TPOT 개선 36.55x/8.02x를 보고하지만, 오늘날 배포할 수 있는 것보다는 서빙 인식 실리콘이 나아갈 방향을 보여주는 신호에 가깝습니다.

vLLM 블로그

이번 주에는 관련 내용이 없습니다 — 최신 게시물인 "vLLM 분해하기: 분리형 서빙의 실제 가이드 (Taking vLLM Apart: A Practical Guide to Disaggregated Serving)"는 이 요약본이 공개되는 기간보다 하루 전인 2026-09-29 날짜입니다.

Hugging Face 블로그

이번 주에는 관련 내용이 없습니다 — 이번 기간 동안 게시된 글들은 모델 출시, TTS 평가 리더보드, 에이전트 도구(agent-tooling) 관련 자료였으며, 추론/서빙 엔지니어링과 관련된 내용은 없었습니다.

Together AI 블로그

이번 주에는 관련 내용이 없습니다 — 이번 기간에 올라온 두 게시물("IBM Cloud 및 NVIDIA를 통한 기업 추론 용량 확장" 및 "Together Link")은 검증 가능한 처리량(throughput), 배치 처리 또는 양자화 세부 정보 없이 용량/파트너십 및 모델 라우팅 발표였습니다.

Modal Clusters are generally available — 2026-10-01. Modal의 멀티노드 GPU 클러스터가 gang scheduling(N개의 노드를 원자적으로 할당하며, AZ/네트워크 토폴로지로 그룹화)과 RDMA를 핵심 성능 요소로 갖추고 일반 사용 가능(general availability)해졌으며, 노드당 최대 6.4 Tbps의 대역폭을 언급했습니다. 또한, 32k-토큰 Llama 3.1 70B KV 캐시(~10 GB)가 수백 밀리초 내에 노드 간 이동해야 함을 지적했습니다. 과금 방식이 시간당 예약(hourly reservation)이 아닌 초 단위로 이루어지면서, 기존에는 고정 용량 예약을 필요로 했던 멀티노드 비디오 생성과 같은 분산 추론 환경의 비용 계산 방식이 변경되었습니다.

Latent Space

[AINews] OpenAI DevDay 2026: Dots, 6.1 Sol, Ultrafast, Decisions API, Agents API, Spaces, Marketplace, and 1.2 Billion ChatGPT WAU](https://www.latent.space/p/ainews-openai-devday-2026-dots-61) — 2026-09-30. 이 요약본은 OpenAI의 DevDay에서 나온 구체적인 서비스 경제학 정보를 담고 있습니다: GPT-6.1 Sol은 백만 토큰당 $2/$10으로 책정되었으며, 입력 캐싱(input caching) 비용은 $0.10 (95% 할인)입니다. 또한, 8배 빠른 생성 속도(Codex에서 300 tok/s, API에서 6x)를 제공하는 새로운

Reflection Beam의 오픈 웨이트 출시(총 501B / 활성 MoE 23B, 3:1 인터리브드 글로벌/슬라이딩 윈도우 어텐션 포함)를 다루는 것 외에도, 이 요약본은 여러 서빙 데이터 포인트를 모았습니다. GPT-6/6.1의 표준 처리량 향상 약 50%(30→50 tok/s), llama.cpp에서의 추측 디코딩(speculative decoding)을 통한 생성 속도 3.4배 향상(M3 Ultra에서 110 vs 32.1 tok/s), Baseten의 서빙 엔진이 오픈 소스 기준 대비 디코드 시간 90% 단축 및 TTFT(Time to First Token) 57% 단축, 그리고 Cline의 비용 기반 라우팅이 작업당 $13.41 대비 $0.24로 동일한 벤치마크 점수를 달성했다는 내용입니다. 이 수치들은 추측 디코딩, 서빙 엔진, 또는 비용 기반 모델 라우팅 중 무엇을 선택할지 결정하는 모든 사람에게 직접적으로 실행 가능한(actionable) 숫자들입니다.

핵심 요약 (Through-line)

이번 주에 발표된 세 개의 독립적인 arXiv 논문(TaSQ, PatchKV, DynaCore)은 양자화(quantization), 가중치 공간 보상(weight-space compensation), 하드웨어 공동 설계(hardware co-design)라는 서로 다른 각도에서 동일한 병목 지점인 KV 캐시를 공략하고 있습니다. 한편 MegaFlux는 MoE 전문가에 대한 동등한 메모리/컴퓨팅 불균형 문제를 다루고 있습니다. 인프라 계층에서는 Modal이 멀티 노드 클러스터의 초 단위(per-second) 과금으로 전환한 점과 Latent Space의 요약본에서 공개된 서빙 엔진 수치들(Baseten의 디코드 시간 단축, llama.cpp의 추측 디코딩 속도 향상)은 같은 방향을 가리킵니다. 즉, KV 캐시 메모리 압박과 배치 처리 효율성이 이번 사이클의 지배적인 비용 결정 요인(cost lever)이라는 것입니다. 이는 커널을 최적화하든 서빙 제공업체를 선택하든 마찬가지입니다.

여러분의 팀은 KV 캐시 메모리 압박을 완화하기 위해 무엇을 하고 있습니까—양자화, 제거(eviction), 또는 분산 처리(disaggregation) 중 어떤 것을 사용하고 있나요? 아래에 댓글을 남겨주세요.