루프형 트랜스포머와 Mixture-of-Experts (MoE)를 위한 스케일링 법칙

요약

본 연구는 루프형 트랜스포머와 Mixture-of-Experts (MoE)의 효율적인 확장을 위한 새로운 'Loop Scaling Laws'를 제안합니다. 이 법칙은 순환 구조(recurrence)와 희소성(sparsity)을 모델 크기, 데이터와 함께 공동으로 모델링하여 성능 예측의 정확도를 높였습니다. 이를 통해 컴퓨팅 및 메모리 제약 조건 하에서 루프형 MoE 모델 설계의 이론적 기반을 마련했습니다.

핵심 포인트

• Loop Scaling Laws는 순환 구조와 희소성을 공동으로 모델링합니다.
• 루프형 MoE는 비루프형 대비 추론 효율성(활성화 파라미터) 및 총 파라미터 측면에서 이점을 가집니다.
• 이 법칙들은 표준 밀집/MoE 스케일링 법칙을 특수한 경우로 포함하며 예측 정확도가 높습니다.