UniPool: 혼합 전문가(Mixture-of-Experts)를 위한 전역 공유 전문가 풀

요약

UniPool은 기존의 계층별(per-layer) 전문가 할당 방식에 의존하는 Mixture-of-Experts (MoE) 아키텍처의 한계를 극복하기 위해 제안된 새로운 MoE 구조입니다. 이 모델은 모든 레이어가 독립적인 전문가 세트를 소유하는 대신, 전체 시스템이 공유하는 단일 글로벌 전문가 풀(UniPool)을 사용합니다. 이를 통해 전문가 용량을 전역적 예산으로 취급함으로써, 깊이 증가에 따라 전문가 파라미터가 선형적으로 증가할 필요 없이 효율적이면서도 높은 성능을 유지할 수 있음을 입증했습니다.

핵심 포인트

• 기존 MoE는 각 레이어가 독립적인 전문가 세트를 소유하는 방식(per-layer expert ownership)을 사용하지만, UniPool은 이를 단일 공유 풀(global shared pool)로 대체합니다.
• UniPool은 전역적 전문가 예산 관리를 통해 모델의 깊이 증가에 따른 전문가 파라미터의 선형적 성장을 방지하고 효율성을 높입니다.
• 공유 풀 설계를 통해, 적은 비율의 전문가 파라미터(41.6%-66.7%)만으로도 기존 MoE와 동등하거나 더 나은 성능을 달성할 수 있음을 보여줍니다.
• 안정적인 학습과 균형 잡힌 활용을 위해 풀 레벨 보조 손실(pool-level auxiliary loss) 및 NormRouter를 도입했습니다.