PALS: Mixture-of-Experts 모델을 위한 전력 인식형 LLM 서빙

요약

PALS는 GPU 전력 제한을 주요 제어 변수로 활용하여 LLM 서빙의 에너지 효율을 최적화하는 전력 인식형 런타임입니다. vLLM 프레임워크 내에 구현되어 MoE 및 Dense 모델 모두에서 에너지 효율을 최대 26.3% 향상시키고 QoS 위반을 획기적으로 줄였습니다.

핵심 포인트

• GPU 전력 제한(power caps)을 소프트웨어 파라미터와 함께 최적화 가능한 제어 요소로 취급
• 경량 오프라인 전력-성능 모델과 피드백 기반 컨트롤러를 결합한 시스템 구조
• vLLM 내 구현을 통해 모델 재학습이나 API 변경 없이 기존 프레임워크와 호환 가능
• MoE 및 Dense 모델 환경에서 에너지 효율 향상 및 전력 제약 조건 하의 QoS 안정성 확보