이 변경 사항을 통해 .experts.gate_proj / .up_proj / .down_proj 텐서 이름을 양자화된 (즉, nvfp4 및 m
요약
양자화된 모델(nvfp4, mxfp8)과 양자화되지 않은 모델(bf16) 모두에서 .experts.gate_proj, .up_proj, .down_proj 텐서 이름을 사용할 수 있도록 변경되었습니다. 이를 통해 다양한 정밀도의 모델 간 텐서 명명 규칙 호환성이 확보되었습니다.
핵심 포인트
- 양자화 모델(nvfp4, mxfp8)에 대한 텐서 명명 규칙 지원
- bf16 모델과 양자화 모델 간의 텐서 이름 호환성 개선
- MoE 구조의 gate_proj, up_proj, down_proj 텐서 관리 효율화
이 변경 사항을 통해 .experts.gate_proj / .up_proj / .down_proj 텐서 이름을 양자화된 (즉, nvfp4 및 mxfp8) 모델과 양자화되지 않은 (bf16) 모델 모두에서 각각 사용할 수 있게 됩니다. 이전에는 양자화되지 않은 모델만 해당 텐서 명명 규칙을 사용했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 RSS: GitHub ollama/ollama releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기