모델은 세 가지 작업을 수행하는 하나의 패키지입니다
요약
본 문서는 AI 모델 패키지 구조의 개선 사항을 설명합니다. 기존에 분리되어 있던 실행기, 아키텍처 계약, 열린 체크포인트 등이 하나의 통합된 패키지로 재구성되었습니다. 이를 통해 모델 로딩 및 양자화 관련 코드가 더욱 체계적으로 관리됩니다.
핵심 포인트
- 모델 구성 요소가 단일 패키지 내에서 통합되어 구조적 일관성을 높였습니다.
- 체크포인트, 아키텍처 계약, 실행기 간의 관계가 명확해졌습니다.
- 양자화 관련 로직(quant.go)이 체크포인트 파일 읽기와 결합되었습니다.
모델은 세 가지 작업을 수행하는 하나의 패키지입니다. 실행기(runner)와 아키텍처 간의 계약, 열린 체크포인트, 그리고 체크포인트 텐서로부터 신경망 레이어(nn layers)를 구축하는 것입니다. 이 파일들은 어느 것이 무엇인지 명시하지 않았습니다. base.go는 폴드된 패키지의 이름과 인터페이스, 레지스트리를 담고 있었습니다. root.go는 Root 옆에 safetensors 헤더 스캔을 가지고 있었고, quant.go는 nvfp4 전역 규모(global-scale) 헬퍼와 양자화 매개변수 해상도를 혼합했습니다.
base.go는 자신이 담고 있는 내용에 맞춰 model.go가 되었습니다. root.go는 Root와 Open; TensorQuantInfo를 유지하고, 헤더 스캔은 quant.go와 합쳐져서 체크포인트가 양자화에 대해 말하는 모든 것이 하나의 파일에서 읽히고 해상됩니다. 전역 규모 헬퍼들은 테스트와 함께 globalscale.go로 이동했습니다. Root.Close는 호출자가 하나인 no-op이며, 더 이상 코드를 변경하지 않았습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 RSS: GitHub ollama/ollama releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기