영감을 받은 포스트: Google이 더 큰 Dense 버전을 출시하지 않아 Gemma 4 31B를 44B 모델(88 레이어)로 확장했습니다

요약

사용자가 Google의 Gemma 4 31B 모델을 기반으로 레이어 스케일링 기법을 적용하여 44B 규모의 모델로 확장하는 실험을 진행했습니다. LLaMA Pro 방식에서 영감을 얻어 60개 레이어를 88개로 늘려 모델의 용량을 확보했습니다.

핵심 포인트

• Gemma 4 31B 모델을 44B 파라미터 규모로 확장 시도
• LLaMA Pro 방식에서 영감을 받은 레이어 스케일링 전략 사용
• 베이스 모델의 지식과 구조적 패턴을 활용한 레이어 초기화
• 모델의 정체성을 유지하면서 추가적인 용량 확보 확인