- llm: fit 패딩과 함께 iGPU mmproj 오프로드 허용 llama.cpp의 fit 패스는 멀티모달 프로젝터가 로드되기 전에 텍스트-
요약
llama.cpp의 fit 패스는 멀티모달 프로젝터 로드 전 텍스트 모델 배치를 수행합니다. 기존에는 Ollama가 비(非)Metal iGPU에서 안전을 위해 프로젝터 오프로드를 비활성화하여 메모리 사용에 제약이 있었습니다. 이번 업데이트는 통합 GPU가 동일한 프로젝터-메모리 검사를 사용하도록 개선하고, 필요한 공간 확보 로직을 추가했습니다.
핵심 포인트
- llama.cpp의 fit 패스가 멀티모달 프로젝터 로드 전 텍스트 모델 배치를 수행합니다.
- 비(非)Metal iGPU에서 프로젝터 오프로드가 활성화되어 메모리 사용 효율성이 높아졌습니다.
- LLAMA_ARG_FIT_TARGET에 추가 공간을 확보하여 안정적인 프로젝터 할당이 가능해집니다.
- llm: fit 패딩과 함께 iGPU mmproj 오프로드 허용
llama.cpp의 fit 패스는 멀티모달 프로젝터가 로드되기 전에 텍스트-모델 배치를 수행합니다. Ollama는 GB10 및 Strix Halo와 같은 비(非)Metal iGPU에서 이러한 위험을 피하기 위해 프로젝터 오프로드를 완전히 비활성화해 왔습니다. 이로 인해 프로젝터에 충분한 메모리가 사용 가능한 경우에도 CLIP이 CPU에 강제 로드되었습니다.
통합 GPU가 다른 GPU와 동일한 프로젝터-메모리 검사를 사용하도록 합니다. 프로젝터 오프로드가 활성화되면, 추정된 프로젝터 메모리에 기존의 1 GiB 여유 공간을 더하여 Ollama이 소유한 LLAMA_ARG_FIT_TARGET에 추가하고, fit이 나중에 이루어질 프로젝터 할당을 위한 공간을 남기도록 합니다. 만약 Ollama/장치 설정에서 이미 fit 타겟이 제공되었다면, 프로젝터 패드를 여기에 더합니다. 사용자가 LLAMA_ARG_FIT_TARGET을 명시적으로 설정한 경우, 제공된 대로 그대로 유지합니다.
수정 사항 #16419
- review 코멘트
AI 자동 생성 콘텐츠
본 콘텐츠는 RSS: GitHub ollama/ollama releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기