최근 Omar Sanseviero가 Twitter에서 향후 Gemma 모델에 대한 제안을 요청했습니다. 제가 생각하는 바는 다음과 같습니다: Gemma 5는 루프형 트랜스포머(looped transformer)여야 합니다. 설정 가능한 루프 깊이를 가진 루프형 트랜스포머는 가장 큰 Gemma 4의 약점 중 하나인 추론 능력(reasoning ability)을 해결할 수 있습니다. 오해하지 마세요, 저는 Gemma 4가 보여주는 간결한 추론 방식이 좋습니다만, 이것이 특정 시나리오에서 성능을 저해하는 경우가 있습니다. 루프형 구조는 모델이 그러한 작업에서 더 나은 성능을 발휘하도록 허용하면서도, 여전히 깊이를 조절할 수 있고 추가적인 값비싼 사전 학습(pre-training) 없이 전통적인 트랜스포머보다 훨씬 효율적입니다.
Gemma 5에는 DeepSeek의 Engram이 있어야 합니다. 이는 모델의 세계 지식(world knowledge)을 넓혀주면서도, 몇 기가바이트의 RAM 또는 SSD 공간만 추가로 소모할 뿐입니다. 이 덕분에 실세계 작업에서 더 나은 성능을 발휘하면서 비용은 거의 들지 않습니다.
4 bit QAT를 계속 사용해야 합니다. 이는 정말 많은 사람들이 높은 품질로 모델을 실행할 수 있게 해주었으며, 실제 환경에서 매우 잘 작동하는 것으로 입증되었습니다. 저는 전적으로 이를 지지합니다.
더 효율적인 어텐션 메커니즘(attention mechanisms)을 구현하여 더 저렴한 KV 캐시(KV cache)를 확보해야 합니다. DeepSeek의 Compressed Sparse Attention 2와 유사한 것을 구현하면 모델이 훨씬 저렴한 KV 캐시를 가질 수 있게 됩니다. 이는 Qwen 3.5 이후 버전과 비교했을 때, 24GB VRAM 환경에서 Gemma 4 31b가 가지고 있던 주요 단점 중 하나였습니다.
Gemma 5는 약 120b MOE 모델일까요? 이것이 API 오퍼링(API offerings)과 경쟁하기 때문에 아마 불가능할 것이라는 것을 알고 있지만, 만약 Gemma 5 시리즈로 120b MOE 모델을 출시한다면 커뮤니티는 매우 기뻐할 것입니다.
Drafter 모델 개선: Drafter 모델에 대한 작은 업데이트가 좋을 것 같습니다. 왜냐하면 Gemma 4 출시 이후 DSpark, DFlash 2, EAGLE-4 등 많은 새로운 추측 디코딩(speculative decoding) 기술이 발표되었기 때문입니다.
Vision 및 오디오 기능을 위한 기존 아키텍처 대신 모델 레이어에 대한 선형 투영(Linear projection)을 적용하는 것이 좋습니다.
선형 투영(Linear projection)은 흥미로운 접근 방식이며 탐구할 가치가 있어 보이지만, 물론 효과가 없다면 억지로 시도해서는 안 됩니다. 소규모 모델에 대한 2비트 QAT(양자화 인식 훈련)는 잊으세요. 소규모 모델에 2비트 QAT가 존재한다는 것 자체를 잊어야 합니다. 현재 제가 이야기하는 것은 gemma-4-E2B-it-QAT-mobile과 gemma-4-E4B-it-QAT-mobile입니다. 실제로 QAT를 사용하더라도 가중치를 2비트로 양자화하는 행위는 이러한 소규모 모델들을 완전히 기능 저하(lobotomizes)시키며, 실질적으로 추구할 가치가 없습니다. 다른 모든 것의 희생을 감수하고 코딩에 과적합되어서는 안 됩니다. 거의 모든 연구실이 현재 일반 지식, 창의적 글쓰기, 뉘앙스 등의 성능을 저해하면서 오직 코딩 벤치마크만을 쫓고 있습니다. 소규모 모델이 모든 면에서 동시에 최고 수준(best-in-class)일 수는 없으며, 코딩에만 초점을 맞춘 모델들은 이렇게 경쟁이 치열한 공간에서는 빠르게 구식이 됩니다. Gemma는 여전히 비코딩 사용 사례에 대해 균형 잡힌 느낌을 주는 몇 안 되는 모델 패밀리 중 하나입니다. 이 정체성을 유지해 주시길 바랍니다. 여러분은 어떻게 생각하시나요? 아래 댓글로 의견을 자유롭게 남겨주세요.
제출자: /u/Paramecium_caudatum_
[링크] [댓글]
