Inference Snaps

스냅(snaps) 형태로 AI 모델을 설치, 실행 및 서비스하여 하드웨어에 최적화합니다.

Inference Snaps는 복잡한 생성형 모델 배포를 단일 명령으로 변환합니다. 이들은 AI 런타임이 포터블하고(portable), 컴포저블하며(composable), 로컬 우선(local-first)이어야 한다는 아이디어에 기반을 두고 있습니다.

Gemma 4, Qwen 3 Coder 또는 DeepSeek R1로 실험하든, 미리 최적화된 런타임을 즉시 설치하고 로컬에서 API 엔드포인트를 실행할 수 있습니다. 각 모델 스냅은 모든 종속성을 포함하며 CPU, GPU 또는 NPU 등 사용자의 실리콘에 맞게 조정됩니다.

모든 장치는 의존성 지옥(dependency hell)이나 최적화 악몽 없이 지능형 소프트웨어를 실행할 수 있어야 합니다.

빠른 시작 (Quick start)

accelerator 드라이버를 설치하세요.

그런 다음:

# 모델 스냅 설치
sudo snap install gemma4

...

기능 (What it does)

플러그 앤 플레이 AI 모델: 각 스냅은 다양한 최적화된 모델 가중치와 런타임을 번들로 제공합니다.
하드웨어 인식(Hardware-aware): 장치에 맞는 실리콘 최적화 런타임 및 모델 가중치를 자동으로 선택하고 배포합니다.
API 우선 설계 (API-first design): 통합을 위해 로컬 표준 API를 노출합니다.
오프라인 준비 완료(Offline-ready): 설치가 완료되면 모델은 전적으로 사용자의 장치에서 실행됩니다.
재현 가능 및 격리됨(Reproducible & isolated): 스냅은 지원되는 Linux 배포판 전반에 걸쳐 일관된 환경을 보장합니다.

사용 가능한 Inference Snaps

모델명(Model)별로 제공되는 기능(Capabilities), 설치 명령어(Install), 그리고 소스 저장소(Source)를 표로 정리했습니다.

모델명	기능	설치 명령어	소스 저장소
Clef Flash	결정(decision), 시각(vision)	`snap install clef-flash`	repo
DeepSeek R1	텍스트, 사고(thinking)	`snap install deepseek-r1`	repo
Gemma 3	텍스트, 사고(thinking), 시각(vision)	`snap install gemma3`	repo
Gemma 4	텍스트, 사고(thinking), 시각(vision), 도구(tools)	`snap install gemma4`	repo
GLM 4.7 Flash	텍스트, 사고(thinking), 도구(tools)	`snap install glm-4-7-flash`	repo
GLM-OCR	텍스트, 시각(vision)	`snap install glm-ocr`	repo
Nemotron 3 Nano	텍스트, 사고(thinking), 도구(tools)	`snap install nemotron-3-nano`	repo
Nemotron 3 Nano Omni	텍스트, 사고(thinking), 시각(vision), 도구(tools)	`snap install nemotron-3-nano-omni`	repo
Nemotron 3.5 Bolt	텍스트, 사고(thinking), 시각(vision)	`snap install nemotron-3-5-bolt`	repo
Nemotron 3.5 Lightning	텍스트, 사고(thinking), 도구(tools)	`snap install nemotron-3-5-lightning`	repo
Nomic Embed Text v1.5	텍스트 임베딩(text embedding)	`snap install nomic-embed-text-v1-5`	repo
OpenJev	결정(decision), 텍스트, 시각(vision)	`snap install openjev`	repo
Phi 4	텍스트	`snap install phi4`	repo
Qwen 2.5 VL	텍스트, 시각(vision)	`snap install qwen-vl`	repo
Qwen 3	텍스트, 사고(thinking), 도구(tools)	`snap install qwen3`	repo

곧 더 많은 오픈 소스 모델이 추가될 예정입니다.
피드백 공유하기와 다음으로 지원할 오픈 소스 모델에 투표해주세요.

문서화 (Documentation)

https://documentation.ubuntu.com/inference-snaps 로 이동하세요.

문서는 docs 디렉터리 내에서 관리됩니다.

기여하기 (Contributing)

풀 리퀘스트(pull requests)를 환영합니다!
도구 사용법, 빌드 지침 및 모델 제출 가이드라인은 기여 가이드를 참고해주세요.

GitHub Discussions에서 논의에 참여하거나, 이슈 신고하기를 해주세요.

Inference Snaps: AI 모델을 설치하고 실행하며 서비스하는 방법

요약

핵심 포인트