Gemma의 가중치를 85% 줄였는데도 성능이 대부분 유지된다

요약

MoE 모델인 Gemma 4를 가지치기(pruning)하여 크기를 대폭 줄였음에도 높은 성능을 유지했습니다. 이 경량화된 모델은 온디바이스 환경에 최적화되어 낮은 메모리와 에너지 소비로 빠른 속도를 보여줍니다. 특히, 정답이 아닌 '사고 과정' 학습 방식을 통해 효율적인 배포가 가능합니다.

핵심 포인트

• Gemma 4를 가지치기해도 분류 작업에서 높은 성능을 유지함.
• 온디바이스 구동에 최적화되어 메모리 사용량과 에너지 소비가 매우 낮음.
• 라우터 없이 전문가 선택 과정을 제거하여 밀집형 구조로 단순화됨.
• 학습 목표를 정답이 아닌 '사고 과정' 자체에 두어 효율성을 높임.