Ollama의 이번 버전은 GGML 위에 구축하는 대신 llama.cpp를 직접 지원하도록 아키텍처를 변경하며, GGUF 파일 형식과의 호환성을
요약
Ollama의 최신 버전은 아키텍처를 변경하여 GGML 대신 llama.cpp를 직접 지원하고 GGUF 파일 형식과의 호환성을 확보했습니다. Apple Silicon 환경에서는 MLX를 활용해 모델 추론 성능을 가속화합니다. 현재는 프리릴리스(Pre-release) 단계이므로 사용자 피드백을 요청하며, 특정 모델(laguna-xs.2, llama3.2-vision)은 지원되지 않습니다.
핵심 포인트
- Ollama가 아키텍처를 업데이트하여 GGML 대신 llama.cpp를 직접 지원하게 되었습니다.
- GGUF 파일 형식과의 호환성을 개선했습니다.
- Apple Silicon 환경에서 모델 추론 가속화를 위해 MLX 프레임워크를 사용합니다.
- 현재 버전은 프리릴리스(Pre-release) 단계이며, 사용자 피드백 수집이 필요합니다.
Ollama의 이번 버전은 GGML 위에 구축하는 대신 llama.cpp를 직접 지원하도록 아키텍처를 변경하며, GGUF 파일 형식과의 호환성을 허용합니다. Apple Silicon에서 모델 추론 (Inference)을 가속화하기 위해 MLX가 사용됩니다. 프리릴리스 (Pre-release) 단계 동안 다음과 같은 피드백을 부탁드립니다:
- 성능 향상 또는 저하
- 이전에 발생하지 않았던 오류 또는 충돌
- 메모리 사용량 향상 또는 저하
알려진 문제:
- laguna-xs.2는 아직 이 프리릴리스에서 지원되지 않습니다.
- llama3.2-vision은 아직 이 프리릴리스에서 지원되지 않습니다.
설치 방법:
Mac/Linux
curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.30.0-rc15 sh
Windows
$env:OLLAMA_VERSION="0.30.0-rc15"; irm https://ollama.com/install.ps1 | iex
AI 자동 생성 콘텐츠
본 콘텐츠는 Ollama Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0