2026년의 오픈 소스 AI 스택: 무엇이 함께 작동하는가

이 기사는 원래 aifoss.dev에 게시되었습니다.

도구들은 이미 존재합니다. Ollama, Open WebUI, AnythingLLM, Continue.dev, Aider, Flowise — 5년 전만 해도 이러한 스택은 전혀 존재하지 않았습니다. 2026년의 문제는 오픈 소스 AI 도구를 찾는 것이 아닙니다. 어떤 도구들이 일관된 워크플로 (Workflow)를 구성하는지, 그리고 어떤 조합이 조용히 당신의 주말을 낭비하게 만드는지를 파악하는 것입니다.

짧은 답변을 드리자면: 거의 모든 조합이 작동합니다. 왜냐하면 모든 현대적인 로컬 AI 도구들이 OpenAI HTTP API를 사용하기 때문입니다. 더 긴 답변을 드리자면: 튜토리얼에서 생략되는 실제 실패 모드(Failure modes) — 포트 충돌(Port conflicts), 조용한 컨텍스트 절단(Silent context truncation), 임베딩 모델 불일치(Embedding model mismatches) — 가 존재합니다. 이 가이드는 바로 그 부분들을 다룹니다.

검증된 버전: Ollama v0.24.0 (2026년 5월 14일), Open WebUI v0.9.5 (2026년 5월), vLLM v0.21.0 (2026년 5월), Continue.dev v1.3.34 (2026년 초), Aider v0.86.0.

모든 것을 구성하게 만드는 API 계층

이 스택의 모든 도구는 OpenAI 호환 HTTP API를 노출하거나 소비합니다. 이 단 하나의 설계 결정 덕분에 도구 간 호환성이 거의 자동으로 이루어집니다.

localhost:11434에 위치한 Ollama의 REST API는 OpenAI의 /v1/chat/completions와 동일한 요청 형식을 수락합니다. Open WebUI는 설정 없이도 로컬 Ollama 인스턴스를 감지합니다. AnythingLLM은 Ollama를 선택 가능한 LLM 제공자로 취급합니다. Continue.dev는 설정 파일에 `

복잡해지는 지점은 프로토콜 (protocol)이 아니라, 포트 할당 (port assignments), 컨텍스트 윈도우 (context window) 기본값, 그리고 임베딩 파이프라인 (embedding pipeline) 격리입니다. 이것들이 실제 실패 모드 (failure modes)입니다.

레이어 1 — LLM 러너 (The LLM Runner)

Ollama v0.24.0 (MIT 라이선스, github.com/ollama/ollama)은 개인 개발자 및 홈랩 (home-lab) 설정을 위한 적절한 시작점입니다. 단일 설치 프로그램, 이름 기반의 모델 다운로드, 백그라운드 데몬 (background daemon), 모델 간의 핫스왑 (hot-swap) 기능을 제공합니다. 2026년 5월 릴리스에서는 Apple Silicon을 위한 MLX 샘플러 (MLX sampler)를 재설계하고 Codex App 지원을 추가했습니다. 모델을 GGUF 형식으로 저장하며, 첫 요청 시 GPU 메모리에 로드합니다.

# 모델을 풀(pull)하고 실행합니다
ollama pull qwen3:14b
ollama run qwen3:14b
...

vLLM v0.21.0 (Apache 2.0, github.com/vllm-project/vllm)은 Ollama의 단일 사용자 처리량 (throughput) 한계가 충분하지 않을 때의 해답입니다. 8000번 포트에서 실행되며, 동일한 OpenAI API를 노출하므로 이 스택의 다른 모든 도구는 URL 변경만으로 이를 가리킬 수 있습니다. 트레이드오프 (tradeoffs)로는 Linux 전용이며, CUDA가 필요하고, Apple Silicon을 지원하지 않으며, 서비스를 제공하기 전 모델을 로드하는 데 30~90초가 소요된다는 점이 있습니다.

# vLLM으로 Qwen3 14B 모델을 서빙합니다
vllm serve Qwen/Qwen3-14B \
  --max-model-len 32768 \
...

결정 규칙은 간단합니다. 개발, 평가 및 개인용으로는 Ollama를 사용하고, 한 명 이상의 사용자에게 서비스를 제공하거나, 팀 공유 엔드포인트 (shared team endpoint)를 운영하거나, 배치 처리량 (batch throughput)을 벤치마킹할 때는 vLLM을 사용하십시오. 전환이 운영 비용 (ops cost)을 들일 만큼 가치가 있는 시점에 대한 자세한 분석은 Ollama vs vLLM 2026을 참조하십시오.

레이어 2 — 채팅 UI (Chat UIs)

Open WebUI v0.9.5 (MIT, github.com/open-webui/open-webui)는 Ollama를 위해 우선적으로 구축되었습니다. Docker 설치 시 로컬 Ollama 인스턴스를 자동으로 감지하므로 수동 엔드포인트 (endpoint) 설정이 필요 없습니다. 3000번 포트에서 실행되며 일상적인 채팅, 모델 관리, 문서 업로드를 통한 기본적인 RAG (Retrieval-Augmented Generation), 그리고 v0.9.5 버전에서는 개인 설정을 위해 Docker 요구 사항을 완전히 제거한 Mac, Windows, Linux용 네이티브 데스크톱 앱을 제공합니다.

v0.9.5 릴리스에는 리다이렉트 기반의 SSRF (Server-Side Request Forgery) 보호와 설정 가능한 iframe 콘텐츠 보안 정책 (Content Security Policy)이 추가되었습니다. 이는 인터페이스를 로컬 네트워크에 노출하여 다른 사용자들과 공유할 때 중요합니다.

AnythingLLM (MIT, github.com/Mintplex-Labs/anything-llm)은 유사한 외형을 가졌지만 다른 도구입니다. 차이점은 아키텍처 (architecture)에 있습니다. AnythingLLM은 문서 컬렉션, 임베딩 (embedding) 파이프라인, 채팅 기록이 독립적으로 관리되는 "워크스페이스 (workspaces)"를 중심으로 설계되었습니다. 기본적으로 3001번 포트에서 실행되므로, Open WebUI와 AnythingLLM을 포트 충돌 없이 동일한 Ollama 인스턴스에 대해 동시에 실행할 수 있습니다.

두 도구 모두 동일한 Ollama 백엔드 (backend)를 지원합니다. 선택 기준은 다음과 같습니다. 일반적인 채팅, 모델 탐색 및 멀티모달 (multi-modal) 작업에는 Open WebUI를, 주요 워크플로 (workflow)가 문서 질의인 경우에는 AnythingLLM을 사용하십시오. 더 심도 있는 리뷰는 Open WebUI 리뷰와 AnythingLLM 리뷰를 참조하십시오.

레이어 3 — RAG

두 채팅 UI 모두 내장된 RAG를 포함하고 있지만, 임베딩 (embeddings)과 지속성 (persistence)을 처리하는 방식은 다릅니다. 대규모 문서 코퍼스 (corpus)를 수집하기 전에 어떤 것을 사용할지 아는 것이 나중에 고통스러운 재구축 과정을 피하는 길입니다.

Open WebUI의 RAG는 (v0.9.x 버전부터) SQLite-vec에 임베딩 (embeddings)을 저장합니다. 채팅 인터페이스를 통해 문서를 업로드하면 해당 대화 내에서 쿼리 (query)가 가능해집니다. 설정 시간이 거의 제로에 가깝습니다. 설정은 제한적입니다. 관리자 설정에서 임베딩 모델 (embedding model)을 선택하면 그것으로 끝입니다. 일회성 문서 쿼리에는 좋지만, 여러 개의 독립적인 지식 베이스 (knowledge bases)를 관리하도록 설계되지는 않았습니다.

AnythingLLM의 RAG는 기본적으로 Chroma를 사용하며, 다양한 임베딩 백엔드 (embedding backends, Ollama를 통한 nomic-embed-text 포함)를 지원하고, 별도의 문서 컬렉션 (collections)을 가진 격리된 워크스페이스 (workspaces)를 생성할 수 있습니다. 문서별로 임베딩 상태를 검사할 수 있고, 업데이트 후 소스를 재스캔할 수 있으며, 워크스페이스별로 검색 파라미터 (retrieval parameters)를 구성할 수 있습니다. 설정할 것이 더 많지만, 지속적인 문서 중심 워크플로 (workflows)에는 훨씬 더 신뢰할 수 있습니다.

Flowise (Apache 2.0)는 앞선 두 내장 솔루션이 다루지 못하는 사례들, 즉 다단계 검색 (multi-step retrieval), 재순위화 (reranking), 문서 메타데이터 (metadata) 기반의 조건부 라우팅 (conditional routing), 또는 사용자 정의 전처리 파이프라인 (custom pre-processing pipelines)을 처리합니다. 표준 LLM 노드를 통해 Ollama와 통신하며, 체인 (chains)을 구축하기 위한 시각적 인터페이스를 제공합니다. 설정 방법은 Flowise local setup guide를 참조하세요.

세 가지 옵션 모두에 적용되는 한 가지 규칙이 있습니다: 임베딩 벡터 (embedding vectors)는 모델별로 고유합니다. nomic-embed-text로 임베딩된 문서는 mxbai-embed-large나 Open WebUI의 기본 임베딩 모델로 쿼리할 수 없습니다. 프로젝트 중간에 RAG 도구나 임베딩 모델을 변경하면, 모든 것을 처음부터 다시 임베딩해야 합니다. 프로덕션 데이터 (production data)를 수집하기 전에 임베딩 모델을 선택하십시오.

레이어 4 — 코드 툴링 (Code Tooling)

이 스택의 두 주요 코드 도구는 모두 OpenAI-API 소비자입니다. 둘 다 반드시 Ollama를 필요로 하지는 않으며, 호환 가능한 모든 엔드포인트 (endpoint)를 수용합니다.

Continue.dev v1.3.34 (Apache 2.0, github.com/continuedev/continue, 2026년 초 기준 VS Code 설치 수 240만 건)는 IDE 통합 옵션입니다. 설정은 단일 JSON 파일에 저장됩니다:

{
  "models": [
    {
...

두 개의 모델을 설정하는 방식은 Tier 2 하드웨어에서 표준적인 관행입니다. 채팅 및 편집을 위한 14B 모델과, 1초 미만으로 응답해야 하는 인라인 자동 완성 (inline autocomplete)을 위한 더 빠르고 작은 모델을 함께 사용합니다. 두 모델 모두 동일한 Ollama 데몬 (daemon)에서 불러오므로, 추가적인 포트나 프로세스가 필요하지 않습니다.

대신 Continue.dev를 vLLM으로 지정하려면, "provider": "openai"를 변경하고 "apiBase": "http://localhost:8000"를 추가하면 됩니다. 모델 이름은 vLLM이 서빙하는 내용에 맞춰 변경되지만, 그 외의 모든 것은 동일합니다.

Aider v0.86.0 (Apache 2.0, github.com/Aider-AI/aider)은 터미널 기반의 대안입니다. 이 도구는 저장소 구조를 매핑하고, 디프 (diffs)를 생성하며,