DECO: End-Side 장치에서 높은 성능을 유지하는 희소 혼합 전문가 (Sparse Mixture-of-Experts)

요약

DECO는 엣지 장치(end-side device) 배포 환경에서 높은 성능과 효율성을 동시에 달성하기 위해 설계된 희소 혼합 전문가(Sparse Mixture-of-Experts, MoE) 아키텍처입니다. 기존 MoE 모델들이 큰 총 파라미터 크기로 인해 메모리 및 저장 병목 현상을 겪는 문제를 해결합니다. DECO는 학습 가능한 스케일링과 유연한 ReLU 기반 라우팅을 활용하여, 제한된 파라미터 예산 내에서 밀집 변환기(dense Transformers) 수준의 성능을 구현하는 것을 목표로 합니다.

핵심 포인트

• DECO는 엣지 장치 배포에 최적화된 희소 MoE 아키텍처입니다.
• 기존 MoE 모델의 큰 총 파라미터 크기로 인한 메모리/저장 병목 현상을 해결합니다.
• 학습 가능한 전문가별 스케일링과 ReLU 기반 라우팅을 사용하여 효율성을 높였습니다.
• 제한된 파라미터 예산 내에서 밀집 변환기 수준의 높은 성능을 달성하는 것을 목표로 합니다.