공장의 데이터를 외부로 유출하지 않고 AI를 구동하기: Ollama와 자택 서버만으로 구축하는 로컬 LLM 환경

제조업 현장에서는 고객 정보·수주 데이터·생산 지시를 단 한 번도 외부로 내보내고 싶지 않은 경우가 많다.

나는 목공소의 사업 승계를 통해 "클라우드 AI는 편리하지만, 이 현장의 데이터는 내보낼 수 없다"는 것을 실감했다.

그래서 Ollama + 자택 서버 x1lite x Docker만으로, 업무에 잠재된 문의 사항을 AI로 처리하는 최소한의 환경을 만들었다.

이 기사에서는 그 구성과 효과, 그리고 실패했던 점을 공개한다.

1. 왜 로컬 LLM인가?

현장의 상담 예시:

• "Lloyd's register와 같은 검사 기록을 담당자에게 설명해 주었으면 좋겠다"
• "수주 데이터로부터 다음 달 생산 계획의 재료 수를 산출해 주었으면 좋겠다"
• "클레임 내용을 바탕으로 개선점을 리스트업해 주었으면 좋겠다"

여기에 공통적인 것은 **"외부로 나가면 곤란한 데이터를 다룬다는 것"**이다.

상위 클라우드 LLM도 있지만, 여기서는 x1lite의 로컬 GPU/CPU에서도 동작하는 Ollama를 선택했다.

장점

• 데이터가 사내에서 나가지 않는다
• 회선이 없는 환경에서도 동작한다
• 모델 선택과 프롬프트 설계만으로 도입할 수 있다

2. 자택 서버에서 Ollama를 구동하는 최소 구성

x1lite (Beelink EliteMini / Ubuntu 24.04)
└─ Docker Compose
├─ ollama (llama3 + 추가 모델)
...

docker-compose의 요점

services:
ollama:
image: ollama/ollama:latest
...

프라이버시 측면의 포인트

• ollama의 포트를 127.0.0.1:11434에 바인딩 → 외부에서 액세스 불가
• Tailscale 내에서만 공개 → 현장 PC에서 브라우저로 사용 가능

3. 업무에 맞춘 프롬프트 설계

여전히 현장의 업무 데이터는 Obsidian에 메모되어 있거나, docx 파일로 저장되어 있다.

그것들을 RAG(Retrieval-Augmented Generation)적으로 사용하는 설계로 만들었다:

• 관계된 파일을 obsidian의 wiki 폴더에서 추출
• 청크(Chunk)화하여 Ollama의 프롬프트에 삽입
• AI의 답변을 저장하고, 나중에 "사용 가능/사용 불가능"을 평가

평가 플로우를 CLI로 돌리고 있다:

import subprocess
import json
from pathlib import Path
...

실제로 제조업에서 사용해 본 결과

즉 "판단의 뒷받침"으로서 충분히 사용할 수 있지만, 단독으로 확정짓기는 어렵다는 현실이 있다. 하지만 현장에서는 **"재료를 뽑아주는 것만으로도 도움이 된다"**는 목소리가 크다.

4. 실패한 점

• GPU 없이 llama3를 풀(Full)로 구동했다 → 1회 답변당 30초 이상 소요 → Qwen2.5-7b + GGUF 소량 양자화(Quantization)로 변경

• Obsidian의 내용을 통째로 던졌다 → 토큰 Limit 오버 → 경로를 /srv/common/obsidian/wiki/에서 자동으로 필터링하는 구조로 변경

• 모델을 하나로 너무 한정했다 → 현장마다 적합한 프롬프트/태스크가 다름 → 용도별로 가벼운 파인튜닝(Fine-tuning) 프롬프트를 나누는 운용 방식으로 변경

5. 사업 승계와 AI 활용의 미래

사업을 이어받는 입장에서 생각하면,

• "고객과 담당자를 잇는 창구"를 시스템화하고 싶다
• "오랜 업무 지식"을 AI로 정리하여 다음 담당자에게 전달한다

라는 두 가지 점이 자연스럽게 요구된다.

Ollama 로컬 LLM은 정확히 그 두 가지를 실현하는 장소로서, 앞으로도 강화할 예정이다. 우선은 "묻는 법"을 정돈하고, 현장의 언어를 프롬프트에 녹여내는 것부터 시작한다.

6. 상담해 보시겠습니까?

코바야시 WEB 시스템에서는 제조업 현장에 맞춘 AI 환경 구축 및 Docker 운용을 지원하고 있습니다.

• **"우선 모델 하나만 사내에서 돌려보고 싶다"**는 단계부터 함께합니다.
• 데이터를 유출하지 않은 채, AI로 업무를 편하게 만들기 위한 구조를 함께 고민하고 싶습니다.

우선 본 기사의 댓글이나 Zenn 프로필(https://zenn.dev/yutaka8484)을 통해 편하게 상담해 주세요.

LinkedIn에서도 상담을 받고 있습니다.

Discussion