Mixture-of-Experts (MoE)는 높은 효율성과 정확도를 제공하는 대규모 언어 모델 (LLMs)의 인기 있는 클래스입니다. 그러나 KV-cache 집약적인 서빙 시나리오에서, MoE는 모델 가중치의 GPU 메모리 요구 사항과 증가하는 KV cache 사이의 긴장 관계를 자주 나타냅니다. 우리는 MoE 모델의 가중치를 런타임에 동적으로 양자화(quantize)하고 전문가 가중치(expert-weight) 정밀도와 KV cache 크기 사이의 균형을 맞추는 새로운 MoE LLM 서빙 관리 방법인 PagedWeight를 제안합니다. PagedWeight는 모델의 작업 정확도, 메모리 소비, 그리고 처리량/지연 시간(throughput/latency) 사이의 복잡한 트레이드오프(tradeoff)를 드러내고 효과적으로 탐색합니다. 여러 메모리 민감형 MoE 서빙 시나리오에 걸쳐, PagedWeight는 기존의 여러 양자화 베이스라인(quantization baselines)보다 품질-메모리 트레이드오프를 개선합니다. PagedWeight는 최대 72.0%의 GPU 메모리 절감과 1.94$ imes$의 처리량 향상을 달성하면서 FP16과 동등한 정확도를 확보하며, 유사한 메모리 예산 내에서 양자화 방법들보다 품질을 최대 39.3% 개선하면서 처리량 손실은 최대 4.1%로 제한합니다.