North Mini Code 업데이트: 4-bit 양자화 (quant) + Ollama + OpenRouter
요약
North Mini Code가 4-bit 양자화 버전을 출시하여 로컬 하드웨어에서의 실행 편의성을 높였습니다. 또한 Ollama, llama.cpp 기반 런타임 및 OpenRouter API를 지원하여 접근성을 대폭 강화했습니다.
핵심 포인트
- 4-bit 양자화 버전 출시로 로컬 실행 용량 최적화
- Ollama 및 llama.cpp 기반 로컬 런타임 지원
- OpenRouter API를 통한 모델 이용 가능
- Mac 등 개인 하드웨어에서의 접근성 향상
안녕하세요!
모델을 더 휴대하기 쉽고 접근 가능하게 만들어 달라는 피드백을 들었습니다. 그래서 그에 따라 두 가지 업데이트 사항을 공유하고자 합니다.
첫째, Hugging Face에서 바로 새로운 4-bit 양자화 (quant) 버전을 가져올 수 있습니다. 이제 Mac이나 여러분이 보유한 로컬 하드웨어에서 실행할 수 있을 만큼 충분히 작아졌습니다. 약 20GB 정도의 용량이 필요하므로, 해당 용량이 있다면 바로 시작할 수 있습니다.
둘째, North Mini Code가 이제 Ollama 및 llama.cpp를 기반으로 구축된 다른 모든 로컬 런타임 (runtimes)에서 지원되며, OpenRouter API를 통해서도 이용 가능합니다. 많은 분이 더 많은 접근성을 원하셨던 것을 알고 있기에, 이를 통해 더 많은 개발자가 더 멋진 것들을 만들 수 있기를 바랍니다.
전체 문서는 여기에 있습니다. 여러분의 의견이 정말 기대됩니다 :)
submitted by /u/nick_frosst
[link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기