5가지 로컬 LLM 추론 엔진 벤치마크: Ollama, vLLM, llama.cpp, LM Studio, TGI

요약 (Summary)

우리는 RTX 4090 24GB 환경에서 DeepSeek-R1 7B Q4_K_M 모델을 사용하여 5가지 로컬 LLM 추론 엔진 (inference engines) — Ollama, vLLM, llama.cpp, LM Studio, 그리고 TGI — 를 벤치마크했습니다. 결과는 다음과 같습니다: vLLM은 Ollama보다 **5배 높은 처리량 (throughput)**을 달성했으며, llama.cpp는 메모리 효율성 측면에서 승리했습니다.

직접 비교 결과 (Head-to-Head Results)

엔진 (Engine)	Ollama 대비 처리량 (Throughput)	VRAM	GPU 사용률 (GPU Util)	난이도 (Difficulty)	최적 용도 (Best For)
Ollama 🟡	1× (기준점)	높음 (High)	~60%	매우 쉬움 (Very easy)	데모 / 개인용 (Demo / personal)
...

언제 무엇을 사용할 것인가 (When to Use Which)

Ollama — 가장 쉽습니다. 명령어 한 줄로 설치가 가능합니다. 프로토타이핑 (prototyping)에 매우 좋습니다.
vLLM — 가장 빠릅니다. 효율적인 KV 캐시 (KV cache)를 위한 PagedAttention을 사용합니다. 프로덕션 (production) 환경의 선택지입니다.
llama.cpp — 호환성이 가장 높습니다. CPU, 노트북, 엣지 디바이스 (edge devices)에서 실행됩니다.
LM Studio — 아름다운 GUI를 제공합니다. 클릭 한 번으로 다운로드 및 채팅이 가능합니다.
TGI — 엔터프라이즈급 (enterprise grade)입니다. HuggingFace가 지원하며, Docker가 필요합니다.

MTP (Multi-Token Prediction) 업데이트

이 벤치마크 이후, LM Studio와 llama.cpp에 MTP 지원이 추가되었습니다 (+30-60% 처리량 향상). Ollama는 아직 지원하지 않습니다.

엔진 (Engine)	MTP	순위 (Ranking)
vLLM	✅ 네이티브 (Native)	🥇 여전히 1위
...

빠른 시작 (Quick Start)

# Ollama
ollama run deepseek-r1:7b

...

자주 묻는 질문 (FAQ)

Q: Windows에서 실행할 수 있나요? A: Ollama와 LM Studio는 완벽하게 작동합니다. vLLM은 Linux/WSL을 권장합니다.

Q: Ollama가 정말 그렇게 느린가요? A: 단일 사용자 채팅용으로는 괜찮습니다. 프로덕션 환경에서는 vLLM이 5배 더 빠릅니다.

Q: GPU가 필요한가요? A: llama.cpp는 CPU에서 실행됩니다. vLLM/TGI는 NVIDIA GPU가 필요합니다.

Q: 1인 개발자에게는 무엇이 적합할까요? A: 빠른 테스트를 위해서는 LM Studio 또는 Ollama를 추천합니다. 서비스 제공 (serving)을 위해서는 vLLM을 추천합니다.

5개의 엔진. 하나의 승자 (vLLM). 당신의 스택 (stack)에 맞는 올바른 도구를 선택하세요.