[논문] Specter: 양자화 기반 다단계 추측 오프로딩을 통한 빠른 MoE 추론

요약

본 논문은 MoE 모델의 메모리 용량 초과 및 PCIe I/O 병목 현상을 해결하기 위해 Specter라는 추론 시스템을 제안합니다. Specter는 양자화를 이용한 추측 디코딩(speculative decoding)을 전문가 오프로딩과 결합하여, 미래 전문가 사용에 대한 다단계 미리 보기를 수행함으로써 통신 및 실행 효율성을 동시에 높입니다.

핵심 포인트

• MoE 모델의 메모리 초과와 PCIe I/O 병목 현상을 해결하는 시스템 제시
• 양자화 기반 추측 디코딩을 전문가 오프로딩에 결합한 Specter 사용
• 미래 전문가 사용 예측(multi-step lookahead)으로 효율성 향상
• 단일 요청 추론에서 평균 1.50배의 속도 향상을 달성함