Docker Model Runner vs Ollama — 누가 옮겨야 하고, 누가 남아야 하는가 (그리고 그 이유)

Nokka (นก-กา) 작성 | 2026년 7월 31일
이 글은 Nokka의 제어 하에 Hermes Agent를 통해 AI (DeepSeek V4 Pro)가 작성되었습니다.

제 생각에는 — Ollama는 자신의 로컬 기기에서 LLM을 실행하고 싶은 대부분의 사람들에게 여전히 최고의 시작점입니다.

ollama pull → ollama run — 끝.

그리고 Docker가 Model Runner를 출시했습니다 — "이제 Docker에서 LLM을 실행할 수 있습니다 — 추가 앱 설치 불필요".

질문은 이겁니다 — 당신은 옮겨야 할까요?

두 가지를 모두 사용해 본 제가 드리는 짧은 답변은 다음과 같습니다: 당신이 이미 Docker를 사용하고 있는지 여부에 달려 있습니다.

하지만 긴 답변은 — 그 이상의 고려할 사항이 훨씬 많다는 것입니다 — 그리고 이 글은 성능(performance), 생태계(ecosystem), 워크플로우(workflow)부터 "누가 옮겨야 하고 — 누가 남아야 하는가"까지 모든 측면을 깊이 있게 다룰 것입니다.

두 도구 — 두 가지 철학

Docker Model Runner는 2025년 4월에 등장했습니다 — Ollama는 그보다 거의 2년 앞선 2023년 7월에 등장했습니다.

두 도구의 철학은 완전히 다릅니다.

Docker Model Runner는 **"LLM은 컨테이너 아티팩트 (container artifact)이다"**라고 봅니다 — 모델은 컨테이너 이미지 (container image)처럼 관리되어야 하며 — 버전 관리(versioned), 태깅(tagged), 푸시(pushable)가 가능해야 하고 — 당신이 Docker에서 실행하는 모든 것과 동일한 생태계(ecosystem) 안에 있어야 합니다.

Ollama는 **"LLM은 네이티브 앱 (native app)이다"**라고 봅니다 — 명령어 하나로 설치 — 명령어 하나로 실행 — 컨테이너를 이해할 필요도 없고 — 아무것도 설정(config)할 필요도 없습니다.

이러한 차이는 설치 방법부터 모델 배포(model distribution)에 대한 사고방식까지 모든 것에 반영됩니다.

Docker Model Runner는 Docker Desktop을 통해 설치합니다 — AI 탭을 엽니다 — 끝 — 하지만 먼저 Docker가 설치되어 있어야 합니다.

Ollama는 curl -fsSL https://ollama.com/install.sh | sh로 설치합니다 — 아무것도 필요 없습니다 — 빈 컴퓨터만 있으면 바로 실행할 수 있습니다.

명령어도 다릅니다 — Docker는 docker model pull / docker model run을 사용하고 — Ollama는 ollama pull / ollama run을 사용합니다 — 모습은 비슷하지만 생태계(ecosystem)는 다릅니다.

둘 다 모델 포맷(model format)으로 GGUF를 사용합니다 — 하지만 Docker는 모델을 Docker Hub의 OCI Artifacts로 저장하며 — Ollama는 자체 레지스트리(registry)를 가지고 있습니다.

API도 유사합니다 — 둘 다 OpenAI-compatible API를 지원합니다 — 하지만 Docker는 Ollama-compatible API도 추가했습니다 — 덕분에 Ollama용으로 작성된 앱을 포트(port)만 11434에서 12434로 변경하면 즉시 Docker에서 사용할 수 있습니다.

GPU 지원 — 두 방식 모두 자동으로 처리합니다 — Apple Silicon의 Metal — NVIDIA의 CUDA

Docker Compose — Docker Model Runner는 네이티브(native)로 지원합니다 — docker-compose.yml에 모델을 바로 선언할 수 있습니다 — 반면 Ollama는 Docker 이미지(Docker image)를 통해 실행해야 합니다

추론 엔진 (Inference engines) — 이 지점이 Docker가 확실히 우위에 있는 부분입니다 — Docker는 3가지 엔진을 지원합니다: GGUF를 위한 llama.cpp, 고처리량 (high-throughput) Safetensors를 위한 vLLM, 그리고 이미지 생성을 위한 Diffusers — 반면 Ollama는 llama.cpp만 사용합니다

성능 (Performance) — 차이는 미미합니다

Corti가 실제 성능 테스트를 진행했습니다 — 동일한 하드웨어에서 Llama 2 7B (Q4)를 실행했습니다 [1]

• CPU 환경 — 두 방식 모두 초당 20-30 토큰 (tokens per second)을 기록했습니다
• 미드레인지 (mid-range) GPU 환경 — 두 방식 모두 초당 50-80 토큰을 기록했습니다

Docker Model Runner가 약간 더 빠릅니다 — 속도 향상 계수 (speedup factor) 1.00에서 1.12배 사이입니다 — 이는 컨테이너화 (containerization)의 오버헤드가 매우 적기 때문이며, 추론 엔진 (inference engine) 자체의 성능 차이는 아닙니다

요약: 만약

Docker는 3가지 추론 엔진 (inference engines)을 지원하며, 모델 형식 (model format)에 따라 자동으로 선택합니다.

• llama.cpp — GGUF용 — 노트북, Mac, Windows에서 사용 — Metal 및 CUDA 지원
• vLLM — Safetensors용 — 고처리량 (high-throughput) 프로덕션 환경 — Linux 또는 WSL2 상의 NVIDIA GPU 필요 — Docker는 2026년 2월에 macOS에서 vLLM + Metal 지원을 발표할 예정입니다 [2] — 하지만 아직 초기 단계입니다.
• Diffusers — 이미지 생성 (image generation)용 — Stable Diffusion — Linux 상의 NVIDIA GPU 필요

사용자가 직접 선택할 필요는 없습니다. Docker가 대신 선택하거나, 혹은 사용자가 직접 선택하여 요청 (requests)을 올바른 엔진으로 라우팅 (routing)할 수도 있습니다.

생태계 (Ecosystem) — Google, Hugging Face, VMware

Docker는 Google, Hugging Face, VMware와 협력하고 있습니다. 이를 통해 Docker Hub에서 선택할 수 있는 모델을 제공하며, Hugging Face에서 직접 가져올 (pull) 수 있습니다 [3].

Ollama의 강점

가장 쉬움 — 아무것도 알 필요가 없음

curl -fsSL https://ollama.com/install.sh | sh
ollama pull llama3.2
ollama run llama3.2

단 3개의 명령어 — Docker가 필요 없음 — 컨테이너 (container)를 이해할 필요 없음 — 아무것도 설정 (config)할 필요 없음

Ollama는 "로컬 LLM 러너 (local LLM runners)의 iPhone"입니다. 내부에서 어떤 일이 일어나는지 알 필요 없이 즉시 작동합니다.

더 큰 생태계 (Ecosystem) — 더 강력한 커뮤니티

Ollama는 거의 2년 앞서 있었으며, GitHub Stars가 100,000개를 넘고, 수천 개의 커뮤니티 모델이 있으며, LangChain, CrewAI, Open WebUI, Continue, Cody와의 통합 (integrations)이 되어 있고, 수많은 튜토리얼이 있습니다 [4].

Docker Model Runner는 출시된 지 1년 3개월밖에 되지 않았으며, 커뮤니티 모델은 수백 개 수준이고, 통합 (integrations)은 아직 Docker 네이티브 도구 (Docker-native tools)로 제한되어 있으며, 튜토리얼도 적습니다 [5].

문제가 발생했을 때, Ollama는 이미 누군가 겪고 해결한 적이 있지만, Docker Model Runner의 경우 당신이 첫 번째 발견자가 될 수도 있습니다.

Modelfile — 모델을 쉽게 커스텀 가능

FROM llama3.2
PARAMETER temperature 0.7
PARAMETER num_ctx 4096
...

Modelfile은 "LLM을 위한 Dockerfile"입니다. 단순하며, OCI 아티팩트 (artifacts)나 컨테이너 레지스트리 (container registry)를 이해할 필요가 없습니다 [6].

Docker에 의존할 필요 없음

Ollama는 사용자의 기기에서 데몬 (daemon)으로 실행됩니다. Docker가 필요 없고, 컨테이너 런타임 (container runtime)도 필요 없습니다. 이는 네이티브 앱 (native app)이며, Docker를 다루고 싶지 않은 사람들에게는 바로 이 점이 강점입니다 [7].

누가 옮겨야 하는가 — 누가 남아야 하는가

저는 직접적인 경험과 여러 리뷰를 통해 확인한 사용자 그룹을 분류해 보았습니다. 여러분의 빠른 의사결정에 도움이 되기를 바랍니다.

✅ Docker Model Runner로 옮겨야 하는 그룹

• 이미 다른 서비스를 위해 Docker를 사용 중인 팀 — 추가 앱을 설치할 필요가 없습니다. LLM은 스택 (stack) 내의 또 다른 서비스가 되며, 모든 것이 한곳에 모이게 됩니다.
• Docker Compose를 사용하는 프로젝트 — docker-compose.yml에 모델을 선언하고, docker compose up 명령만 내리면 모든 준비가 끝납니다. 재현 가능 (reproducible) 하며, "Ollama를 먼저 실행하는 것을 잊어버리는" 상황이 발생하지 않습니다.
• 모델의 버전 관리 (version control)가 필요한 팀 — OCI 아티팩트 (artifacts)를 사용합니다. 버전이 지정되고, 태그가 붙으며, 푸시 (push) 할 수 있습니다. docker model pull myorg/mymodel:v1.0 명령을 통해 모든 사람이 동일한 결과물을 가질 수 있습니다.
• 높은 처리량 (throughput)이 필요한 프로덕션 작업 — 고처리량 프로덕션 (high-throughput production) 환경을 위해, Docker는 vLLM + Safetensors를 지원합니다. Ollama는 이를 지원하지 않습니다.
• 모델을 파이프라인의 일부로 포함하려는 CI/CD 파이프라인 — CI 과정에서 docker model pull을 사용하면 Ollama를 별도로 관리할 필요가 없습니다.

❌ 옮기지 말아야 하는 그룹 — 계속 Ollama를 사용하세요

• Docker를 사용하지 않는 일반 사용자 — Ollama가 더 쉽습니다. Docker를 설치할 필요도, 컨테이너 (container)를 배울 필요도 없습니다.
• 단일 기기에서의 개인적 사용 — ollama pull → ollama run으로 끝납니다. 더 이상 고민할 필요가 없습니다.
• Ollama의 통합 기능 (integrations)에 의존하는 앱 — Ollama는 더 성숙한 (mature) 통합 기능을 갖추고 있습니다. Docker Model Runner로 전환하면 아직 보고되지 않은 버그를 만날 수 있습니다.
• 거대한 커뮤니티를 원하는 사람 — Ollama는 더 큰 커뮤니티를 보유하고 있습니다. 답을 찾기 더 쉽고, 여러분이 겪는 문제를 이미 경험한 사람들이 많습니다.
• Modelfile로 모델을 커스텀하는 것을 선호하는 사람 — Ollama Modelfile은 OCI 아티팩트보다 쉽습니다. 컨테이너 레지스트리 (container registry)를 이해할 필요가 없습니다.

Docker Model Runner를 시도하는 방법 — 5분 소요

# 1. Docker Desktop 실행 → Settings → AI → Enable Model Runner

# 2. 모델 풀 (Pull model)
...

Ollama에서 옮겨오는 방법 — 3단계

# 1. Docker Model Runner 활성화 (Docker Desktop → Settings → AI)

# 2. 새 모델 풀 (Docker는 Ollama와 별도로 모델을 저장합니다)
...

중요: Docker Model Runner는 Ollama의 모델을 사용하지 않습니다. 모든 모델을 새로 풀 (pull) 해야 하며, 모델은 서로 분리되어 저장됩니다.

📚 참고 문헌

📚 참고 문헌

[1] Corti. "A Technical Comparison: Ollama vs Docker Model Runner for Local LLM Deployment." 2025년 4월. [https://corti.com/a-technical-comparison-ollama-vs-docker-model-runner-for-local-llm-deployment/]
[2] Docker. "Docker Model Runner Adds vLLM Support on macOS." 2026년 2월 26일. [https://www.docker.com/blog/docker-model-runner-vllm-metal-macos/]
[3] Docker. "Docker Model Runner + vLLM: High-Throughput Inference." 2025년 11월 20일. [https://www.docker.com/blog/docker-model-runner-integrates-vllm/]
[4] Rost Glukhov. "Docker Model Runner vs Ollama (2026): Which Is Better for Local LLMs?" 2026년. [https://www.glukhov.org/llm-hosting/comparisons/docker-model-runner-vs-ollama-comparison/]
[5] Effloow. "Docker Model Runner vs Ollama: Local AI Deployment Compared 2026." 2026년 4월. [https://effloow.com/articles/docker-model-runner-vs-ollama-local-ai-deployment-2026]
[6] XDA Developers. "I ditched Ollama for Docker, and my local LLM setup finally stopped being a hassle." 2026년 7월 28일. [https://www.xda-developers.com/ditched-ollama-docker-containers-local-llm-setup-stopped-being-hassle/]
[7] XDA Developers. "Docker Model Runner does everything Ollama does, but I'm still not switching." 2026년 7월. [https://www.xda-developers.com/docker-model-runner-everything-ollama-does-still-not-switching/]

결론: 저는 무엇을 선택했나요

결론: 저는 무엇을 선택했나요

만약 지금 저에게 선택하라면 — 개인적인 용도로는 여전히 Ollama를 사용합니다. 빠르고, 간편하며, 생태계(ecosystem)가 크기 때문입니다.

하지만 앱을 개발 중이거나 이미 Docker를 사용 중인 팀과 함께 작업하고 있다면 — Docker Model Runner를 시도해 볼 것입니다. 모델 버전 관리(model versioning), Docker Compose 통합, 그리고 멀티 엔진 지원(multi-engine support)은 그러한 워크플로(workflow)에서 진정한 가치를 발휘하기 때문입니다.

결정을 돕는 간단한 질문들:

• 매일 터미널을 열고 docker ps를 입력하시나요? → Docker Model Runner를 시도해 보세요.
• 그저 자신의 로컬 기기에서 LLM이 질문에 답해주길 원하시나요? → 일단 Ollama를 계속 사용하세요.
• 팀 단위로 배포해야 하는 제품(product)을 만들고 계신가요? → Docker Model Runner를 시도해 보세요.
• Modelfile로 모델을 커스텀하고 Open WebUI를 사용하는 것을 좋아하시나요? → Ollama가 정답입니다.

모든 상황에서 더 나은 도구란 없습니다 — 단지 당신의 작업에 더 적합한 도구가 있을 뿐입니다.

💬 여러분은 Ollama를 사용하시나요, 아니면 Docker Model Runner를 사용하시나요? 아직 망설여진다면, Docker Model Runner를 5분 만에 설치해 보거나 Ollama 명령어를 3개만 실행해 본 뒤, 어떤 것이 여러분의 워크플로(workflow)에 더 잘 맞는지 결정해 보세요. 그리고 여러분의 경험을 댓글로 들려주세요 — 실제 경험은 언제나 표에 적힌 사양(spec)보다 가치 있습니다.