Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Inference Snaps는 복잡한 생성형 AI 모델을 단일 명령으로 설치하고 실행할 수 있게 하는 배포 방식입니다. 이 스냅은 모든 종속성을 포함하며, CPU, GPU, NPU 등 사용자의 하드웨어에 최적화된 런타임과 가중치를 제공합니다. 이를 통해 개발자는 의존성 문제 없이 로컬에서 AI 모델을 쉽게 서비스할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 GitHub AI Tools의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기스냅(snaps) 형태로 AI 모델을 설치, 실행 및 서비스하여 하드웨어에 최적화합니다.
Inference Snaps는 복잡한 생성형 모델 배포를 단일 명령으로 변환합니다. 이들은 AI 런타임이 포터블하고(portable), 컴포저블하며(composable), 로컬 우선(local-first)이어야 한다는 아이디어에 기반을 두고 있습니다.
Gemma 4, Qwen 3 Coder 또는 DeepSeek R1로 실험하든, 미리 최적화된 런타임을 즉시 설치하고 로컬에서 API 엔드포인트를 실행할 수 있습니다. 각 모델 스냅은 모든 종속성을 포함하며 CPU, GPU 또는 NPU 등 사용자의 실리콘에 맞게 조정됩니다.
모든 장치는 의존성 지옥(dependency hell)이나 최적화 악몽 없이 지능형 소프트웨어를 실행할 수 있어야 합니다.
accelerator 드라이버를 설치하세요.
그런 다음:
# 모델 스냅 설치
sudo snap install gemma4
...
모델명(Model)별로 제공되는 기능(Capabilities), 설치 명령어(Install), 그리고 소스 저장소(Source)를 표로 정리했습니다.
| 모델명 | 기능 | 설치 명령어 | 소스 저장소 |
|---|---|---|---|
| Clef Flash | 결정(decision), 시각(vision) | snap install clef-flash | repo |
| DeepSeek R1 | 텍스트, 사고(thinking) | snap install deepseek-r1 | repo |
| Gemma 3 | 텍스트, 사고(thinking), 시각(vision) | snap install gemma3 | repo |
| Gemma 4 | 텍스트, 사고(thinking), 시각(vision), 도구(tools) | snap install gemma4 | repo |
| GLM 4.7 Flash | 텍스트, 사고(thinking), 도구(tools) | snap install glm-4-7-flash | repo |
| GLM-OCR | 텍스트, 시각(vision) | snap install glm-ocr | repo |
| Nemotron 3 Nano | 텍스트, 사고(thinking), 도구(tools) | snap install nemotron-3-nano | repo |
| Nemotron 3 Nano Omni | 텍스트, 사고(thinking), 시각(vision), 도구(tools) | snap install nemotron-3-nano-omni | repo |
| Nemotron 3.5 Bolt | 텍스트, 사고(thinking), 시각(vision) | snap install nemotron-3-5-bolt | repo |
| Nemotron 3.5 Lightning | 텍스트, 사고(thinking), 도구(tools) | snap install nemotron-3-5-lightning | repo |
| Nomic Embed Text v1.5 | 텍스트 임베딩(text embedding) | snap install nomic-embed-text-v1-5 | repo |
| OpenJev | 결정(decision), 텍스트, 시각(vision) | snap install openjev | repo |
| Phi 4 | 텍스트 | snap install phi4 | repo |
| Qwen 2.5 VL | 텍스트, 시각(vision) | snap install qwen-vl | repo |
| Qwen 3 | 텍스트, 사고(thinking), 도구(tools) | snap install qwen3 | repo |
Qwen 3 Coder | text, tools | snap install qwen3-coder | repo
| Qwen 3.5 | text, vision | snap install qwen3-5 | repo
| Qwen 3.6 | text, thinking, vision, tools | snap install qwen3-6 | repo
| Qwen 3.8 | text, thinking, vision, tools | snap install qwen3-8 | repo
| SmolLM2 | text | snap install smollm2 | repo
곧 더 많은 오픈 소스 모델이 추가될 예정입니다.
피드백 공유하기와 다음으로 지원할 오픈 소스 모델에 투표해주세요.
https://documentation.ubuntu.com/inference-snaps 로 이동하세요.
문서는 docs 디렉터리 내에서 관리됩니다.
풀 리퀘스트(pull requests)를 환영합니다!
도구 사용법, 빌드 지침 및 모델 제출 가이드라인은 기여 가이드를 참고해주세요.
GitHub Discussions에서 논의에 참여하거나, 이슈 신고하기를 해주세요.