Gemma 4 MTP (Multi-token Processing) MLX 런너용
요약
이 업데이트는 Mac 환경에서 Gemma 4 모델에 Multi-token Processing (MTP)을 적용한 추측 디코딩(speculative decoding) 기능을 지원합니다. 이 기능은 특히 코딩 작업과 같은 복잡한 태스크에서 Gemma 4 31B 모델의 처리 속도를 2배 이상 향상시킬 수 있습니다.
핵심 포인트
- Mac 환경에서 Gemma 4 MTP 추측 디코딩이 공식 지원되었습니다.
- MTP 기능은 코딩 작업 등 특정 태스크에서 2배 이상의 성능 향상을 제공합니다.
- 사용자는 `ollama run gemma4:31b-coding-mtp-bf16` 명령어를 통해 이 기능을 사용할 수 있습니다.
Gemma 4 MTP (Multi-token Processing) MLX 런너용
Mac에서 Gemma 4 MTP speculative decoding이 지원되었습니다. 이는 Gemma 4 31B 모델의 코딩 작업에서 2 배 이상의 속도 증가를 제공할 수 있습니다.
ollama run gemma4:31b-coding-mtp-bf16
변경 사항
- @dhiltgen 의 #15845 에서 MLX 및 MLX-C 의 스레딩 수정 업데이트
- @ParthSareen 의 #15904 에서 go 를 1.26 으로 업그레이드
- @pdevine 의 #15980 에서 Gemma 4 MTP speculative decoding 추가
전체 변경 로그: v0.23.0...v0.23.1-rc0
AI 자동 생성 콘텐츠
본 콘텐츠는 Ollama Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0