Dify와 Ollama를 사용하여 프라이빗 AI 앱 플랫폼 구축하기

Dify와 Ollama를 사용하여 챗봇, RAG 파이프라인, 에이전트와 같은 맞춤형 AI 앱을 완전히 본인의 하드웨어에서 구축하세요. 월간 비용이 발생하지 않으며, 데이터가 네트워크를 벗어나지 않습니다.

준비물

• 12GB 이상의 VRAM을 갖춘 GPU (RTX 3060 12GB 이상)
• Docker + Docker Compose 2.24.0 이상
• 약 20분

아키텍처 (Architecture)

구성 요소	역할
Dify	시각적 앱 빌더, RAG 엔진, 에이전트 프레임워크, API 레이어
...

설정 (Setup)

1단계: Ollama 시작하기

docker run -d --gpus all -p 11434:11434 --name ollama \
  -v ollama:/root/.ollama \
  ollama/ollama

기본 모델을 풀(Pull) 하세요:

docker exec ollama ollama pull qwen3:14b

2단계: Dify 시작하기

git clone https://github.com/langgenius/dify.git
cd dify/docker
cp .env.example .env
...

3단계: Ollama를 Dify에 연결하기

1. http://localhost/install을 열고 관리자 계정을 생성합니다.
2. Settings > Model Provider로 이동합니다.
3. Ollama를 클릭하고 다음 내용을 입력합니다:
   • Model Name: qwen3:14b
   • Base URL: http://host.docker.internal:11434 (Docker Desktop) 또는 http://YOUR_IP:11434 (Linux)
4. Save를 클릭합니다.

첫 번째 앱 구축하기

챗봇 (Chatbot)

Studio > Create Application > Chatbot. 모델을 선택하고, 시스템 프롬프트 (System Prompt)를 추가한 뒤 게시합니다. 귀하의 챗봇은 공개 URL과 API 엔드포인트 (Endpoint)를 갖게 됩니다.

RAG 파이프라인 (RAG Pipeline)

Knowledge > Create Knowledge. 문서를 업로드하고, 청킹 전략 (Chunking strategy)을 선택하여 이 지식 베이스를 사용하는 앱을 생성합니다. 이제 귀하의 챗봇은 귀하의 문서로부터 답변합니다.

에이전트 (Agent)

Studio > Create Application > Agent. 도구 (Tools) (웹 검색, 코드 인터프리터)를 추가하고 목표를 부여하면, Dify가 도구 호출을 오케스트레이션 (Orchestrates) 합니다.

비용 vs 클라우드 (Cost vs Cloud)

	로컬 (Local)	Dify Cloud + OpenAI
월간 비용	$0	$59-599 + API 사용량
...

약 5개월이 지나면, 중간 단계의 Dify Cloud 플랜과 비교했을 때 GPU 비용은 이미 본전을 뽑게 됩니다.

상세한 문제 해결 방법 및 대안을 포함한 전체 가이드: https://everylocalai.com/stack/dify-ollama-local-app-builder