초소형 규모에서의 Dense vs Sparse 사전 학습: Active-Parameter vs Total-Parameter 매칭

요약

본 연구는 초소형 규모에서 Dense Transformer와 Mixture-of-Experts (MoE)를 비교하며, 파라미터 예산 설정 방식에 따른 성능 차이를 분석했습니다. 특히 활성 파라미터(active parameter) 매칭 조건에서는 MoE가 더 낮은 검증 손실을 달성하여 우위를 보였으나, 전체 파라미터(total parameter) 매칭 조건에서는 Dense 모델이 여전히 경쟁력을 유지하는 것으로 나타났습니다. 이는 초소형 환경에서 MoE의 이점이 활성 파라미터에 국한되며, 저장 용량 측면에서는 Dense 학습을 능가하기 어렵다는 것을 시사합니다.

핵심 포인트

• 초소형 규모 사전 학습 환경에서 Dense와 MoE 모델의 성능 비교를 수행함.
• 활성 파라미터(active parameter) 매칭 조건 하에서 MoE는 낮은 검증 손실을 달성하며 우위를 보임.
• 전체 파라미터(total parameter) 매칭 조건에서는 Dense 모델이 여전히 경쟁력을 유지하는 것으로 나타남.
• 초소형 환경에서는 MoE의 이점이 활성 파라미터에 국한되며, 전체 저장 용량 측면에서 Dense 학습을 능가하기 어려움.