- llm: fit padding을 통한 iGPU mmproj 오프로드 허용 llama.cpp의 fit 단계는 멀티모달 프로젝터(multimod
요약
llama.cpp의 fit 단계를 개선하여 iGPU 환경에서도 멀티모달 프로젝터(mmproj) 오프로드가 가능하도록 업데이트되었습니다. 이를 통해 통합 GPU 메모리 관리 시 발생하는 여유 공간 문제를 해결하고 CLIP 모델의 CPU 강제 할당 문제를 방지합니다.
핵심 포인트
- iGPU에서 멀티모달 프로젝터 오프로드 허용
- fit 단계에서 프로젝터 메모리 패딩(padding) 적용
- GB10 및 Strix Halo 환경의 메모리 효율성 개선
- CLIP 모델이 CPU로 강제 할당되던 문제 해결
- llm: fit padding을 통한 iGPU mmproj 오프로드 허용
llama.cpp의 fit 단계는 멀티모달 프로젝터(multimodal projector)가 로드되기 전에 텍스트 모델의 배치 크기를 결정합니다. Ollama는 Metal이 아닌 iGPU에서 이러한 위험을 피하기 위해 프로젝터 오프로드(projector offload)를 완전히 비활성화해 왔으며, 이로 인해 GB10 및 Strix Halo 환경에서 프로젝터에 충분한 메모리가 있음에도 불구하고 CLIP이 CPU로 강제 할당되었습니다.
통합 GPU(integrated GPUs)가 다른 GPU와 동일한 프로젝터 메모리 체크를 사용할 수 있도록 합니다. 프로젝터 오프로드가 활성화되면, 추정된 프로젝터 메모리에 기존 1 GiB 여유 공간(headroom)을 더하여 Ollama 소유의 LLAMA_ARG_FIT_TARGET에 추가함으로써, fit 단계에서 이후의 프로젝터 할당을 위한 공간을 남겨두도록 합니다. 만약 Ollama/장치 설정에서 이미 fit target을 제공했다면, 여기에 프로젝터 패딩(projector pad)을 더합니다. 사용자가 LLAMA_ARG_FIT_TARGET을 명시적으로 설정한 경우에는 제공된 그대로 유지합니다.
#16419 수정
- 리뷰 코멘트
AI 자동 생성 콘텐츠
본 콘텐츠는 RSS: GitHub ollama/ollama releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기