L0 정규화 기반 Mixture-of-Experts를 통한 밀집형 대규모 언어 모델 가속화

요약

본 논문은 LLM 추론 과정의 느린 속도와 높은 비용 문제를 해결하기 위해 L0 정규화를 활용한 경량 MoE 접근 방식인 L0-MoE를 제안합니다. 이 방법은 밀집형 LLMs 대비 성능 손실을 최소화하면서 최대 2.5배의 속도 향상을 달성했습니다.

핵심 포인트

• L0 정규화를 사용하여 밀집형 LLM 가속화에 적용 가능
• 제안된 L0-MoE는 기존 기준선보다 우수한 성능을 보임
• 경쟁력 있는 성능 유지와 최대 2.5배의 속도 향상을 동시에 달성함