Google이 Gemma 4 31B보다 큰 모델을 출시하지 않았기 때문에, 제가 직접 규모를 키울 수 있는지 확인해보고 싶었습니다. 이것은 내부 정보나 고급 ML (Machine Learning) 전문 지식에 기반한 것이 아니라, 그저 느낌과 Claude 구독 서비스 덕분에 가능했습니다.

제가 한 작업:

• 원본 Gemma 4 31B (60 레이어)에서 시작하여, 88 레이어로 확장함으로써 44B 파라미터 모델을 생성했습니다 (일종의 형태이며, 진정한 44B 모델이라고 부르기는 어려울 수 있습니다).
• LLaMA Pro 방식에서 영감을 받은 Gemma 전용 레이어 스케일링 (layer scaling) 전략을 사용했습니다.
• 다음과 같은 방식을 사용하여 새로운 레이어를 초기화했습니다:
  • 베이스 모델의 지식, 학습 과정에서 습득한 일부 구조적 패턴

초기 결과:

• 확장된 모델은 추가적인 용량을 확보하면서도 원본 모델의 정체성을 상당 부분 유지하는 것으로 보입니다. 하지만 컨텍스트 (context)가 쌓였을 때 어떻게 동작하는지 확인해보고 싶습니다.
• 그리고 네, 그래프는 Claude를 통해 생성된 AI 생성 이미지입니다.

submitted by /u/Mr-serial_killer
[link] [comments]