GLM-5.2를 이제 llama.cpp 및 Unsloth Studio에서 로컬로 실행할 수 있습니다.
요약
GLM-5.2 모델을 llama.cpp 및 Unsloth Studio를 통해 로컬 환경에서 실행할 수 있게 되었습니다. 2-bit 양자화를 통해 모델 크기를 대폭 줄이면서도 높은 정확도를 유지하며, 고사양 Mac 환경에서 구동이 가능합니다.
핵심 포인트
- GLM-5.2 모델의 llama.cpp 및 Unsloth Studio 로컬 실행 지원
- 2-bit 양자화 적용 시 크기를 84% 감소시켜도 약 82% 정확도 유지
- 256GB RAM/VRAM 환경의 Mac에서 실행 가능
- Unsloth를 통한 GGUF 양자화 모델 제공
2-bit 모델은 크기를 1.51TB에서 238GB로 줄인 후에도(크기 -84%) 약 82%의 정확도를 유지합니다.
256GB Mac 또는 RAM/VRAM 설정에서 실행 가능합니다.
GLM-5.2는 현재까지 가장 강력한 오픈 모델입니다.
가이드: unsloth.ai/docs/models/gl…
GGUF: huggingface.co/unsloth/GLM-5.…
각 GLM-5.2-GGUF 양자화 (Quantization)의 정확도는 아래 그래프를 확인하세요.
전체 가이드: https://unsloth.ai/docs/models/glm-5.2
GGUF: https://huggingface.co/unsloth/GLM-5.2-GGUF
submitted by /u/beasthunterr69
[link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0