Ollama의 이번 버전은 GGML을 기반으로 구축하는 대신 llama.cpp를 직접 지원하도록 아키텍처(Architecture)를 변경하며,
요약
Ollama가 GGML 대신 llama.cpp를 직접 지원하도록 아키텍처를 변경하고 GGUF 파일 형식과 호환됩니다. Apple Silicon 가속을 위해 MLX를 사용하며, 현재 사전 출시 단계로 성능 및 메모리 피드백을 수집 중입니다.
핵심 포인트
- llama.cpp 직접 지원 및 GGUF 호환성 확보
- Apple Silicon 추론 가속을 위한 MLX 도입
- 사전 출시 버전으로 성능 및 오류 피드백 요청
- nomic-embed-text 입력 소문자 변환 로직 수정
Ollama의 이번 버전은 GGML을 기반으로 구축하는 대신 llama.cpp를 직접 지원하도록 아키텍처(Architecture)를 변경하며, GGUF 파일 형식과의 호환성을 허용합니다. Apple Silicon에서의 모델 추론 (Inference) 가속을 위해 MLX가 사용됩니다.
사전 출시 (Pre-release) 단계 동안 다음과 같은 사항에 대한 피드백을 환영합니다:
- 성능 향상 또는 저하
- 이전에 발생하지 않았던 오류 또는 충돌 (Crashes)
- 메모리 사용량 (Memory utilization) 향상 또는 저하
알려진 문제 (Known issues):
laguna-xs.2는 아직 Windows/Linux에서 지원되지 않습니다.llama3.2-vision은 아직 지원되지 않습니다.nomic-embed-text는 이제 모델 카드 (Model card)에 따라 입력을 소문자로 변환합니다. 이전 Ollama 버전에서는 대소문자를 혼용하여 잘못 유지했습니다.
설치 방법 (Installing):
Mac/Linux
curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.30.0-rc31 sh
Windows
$env:OLLAMA_VERSION="0.30.0-rc31"; irm https://ollama.com/install.ps1 | iex
AI 자동 생성 콘텐츠
본 콘텐츠는 RSS: GitHub ollama/ollama releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0