- llm: fit padding을 통한 iGPU mmproj 오프로드 허용 llama.cpp의 fit 단계는 멀티모달 프로젝터(multimod

요약

llama.cpp의 fit 단계를 개선하여 iGPU 환경에서도 멀티모달 프로젝터(mmproj) 오프로드가 가능하도록 업데이트되었습니다. 이를 통해 통합 GPU 메모리 관리 시 발생하는 여유 공간 문제를 해결하고 CLIP 모델의 CPU 강제 할당 문제를 방지합니다.

핵심 포인트

• iGPU에서 멀티모달 프로젝터 오프로드 허용
• fit 단계에서 프로젝터 메모리 패딩(padding) 적용
• GB10 및 Strix Halo 환경의 메모리 효율성 개선
• CLIP 모델이 CPU로 강제 할당되던 문제 해결