PagedMoE: SSD에 상주하는 MoE 추론에서 토큰 수준 동적 정밀도를 위한 교차 정밀도 전문가 캐싱

대규모 Mixture-of-Experts (MoE) 모델은 희소 라우팅(sparse routing) 덕분에 라우팅된 전문가 풀(routed-expert pool)이 SSD에 상주하고 DRAM 캐시가 최근 사용된 전문가를 캐싱할 수 있어 로컬 추론에 유망합니다. 하지만 실제 DRAM 캐시 용량 하에서는 I/O와 연산의 중첩(I/O-computation overlap)에도 불구하고 상당한 SSD I/O가 중요 경로(critical path)에 남아 있습니다.

토큰 수준의 동적 전문가 정밀도(Token-level dynamic expert precision)는 전문가 중요도와 양자화 민감도에 따라 비트를 할당함으로써 이러한 데이터 수요를 줄이는 자연스러운 방법을 제공합니다. 그럼에도 불구하고, 동일한 전문가의 각 비트 폭을 독립적인 객체로 취급하는 것은 교차 정밀도 캐시 재사용(cross-precision cache reuse)을 방해하여 중복되는 데이터를 반복적으로 가져오게 만듭니다.

핵심 통찰은 정밀도가 대신 하나의 공유 전문가 상태(shared expert state)의 세분화 깊이(refinement depth)를 나타해야 한다는 것입니다. 이 통찰을 바탕으로, 우리는 PagedMoE를 제시하며, 이는 접두사 호환 트리 코드북(prefix-compatible tree codebook)과 비트 평면 레이아웃(bitplane layout)을 사용하여 각 전문가를 한 번만 저장합니다. 낮은 정밀도의 표현은 높은 정밀도의 유효한 접두사이며, 이를 통해 누락된 비트 평면만을 가져옴으로써 캐시된 데이터를 재사용하거나 확장할 수 있습니다.

PagedMoE는 현재 라우팅 가중치와 오프라인 전문가별 오류 프로파일을 사용하여 I/O 전에 필요한 접두사 길이를 선택하고, 전체 정밀도의 전문가를 구현(materializing)하지 않고도 캐시된 1~8비트 접두사를 직접 실행합니다. 평균 라우팅 전문가 정밀도가 2.5비트일 때, PagedMoE는 Qwen3.5-397B-A17B에서 GPTQ-INT4에 근접한 품질을 달성하고 대부분 평가된 GLM5.2 작업에서는 MXFP4와 유사한 성능을 보입니다. 24 GiB의 전문가 캐시를 사용하여, Qwen3.5에서는 8.89 토큰/초에 도달하며, 이는 독립적인 정밀도 객체를 사용한 동일한 동적 요청보다 1.33배 높고 균일한 4비트 실행보다 1.56배 높은 처리량입니다.