Ollama v0.30.0: llama.cpp 직접 지원 및 GGUF 호환성 도입
요약
Ollama v0.30.0 버전은 아키텍처를 변경하여 llama.cpp를 직접 지원하며 GGUF 파일 형식과의 호환성을 확보했습니다. 또한 Apple Silicon 환경에서 MLX를 활용해 모델 추론 가속을 지원합니다.
핵심 포인트
- llama.cpp 직접 지원 및 GGUF 파일 형식 호환성 도입
- Apple Silicon 사용자를 위한 MLX 기반 추론 가속 지원
- laguna-xs.2 및 llama3.2-vision 모델은 현재 미지원
- 사전 출시 버전으로서 성능, 오류, 메모리 사용량에 대한 피드백 요청
이번 Ollama 버전은 GGML 기반이 아닌 llama.cpp를 직접 지원하도록 아키텍처를 변경하며, GGUF 파일 형식과의 호환성을 제공합니다. Apple Silicon에서의 모델 추론 (Inference) 가속을 위해 MLX가 사용됩니다.
사전 출시 (Pre-release) 단계에서 다음과 같은 피드백을 부탁드립니다:
- 성능 향상 또는 저하
- 이전에 발생하지 않았던 오류 또는 충돌
- 메모리 사용량 개선 또는 저하
알려진 문제:
- laguna-xs.2는 아직 이 사전 출시 버전에서 지원되지 않습니다.
- llama3.2-vision은 아직 이 사전 출시 버전에서 지원되지 않습니다.
설치 방법:
Mac/Linux
curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.30.0-rc17 sh
Windows
$env:OLLAMA_VERSION="0.30.0-rc17"; irm https://ollama.com/install.ps1 | iex
AI 자동 생성 콘텐츠
본 콘텐츠는 Ollama Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0