Ollama와 Python을 사용하여 로컬 LLM 챗봇 구축하기

Ollama와 Python을 사용하여 로컬 LLM 챗봇 구축하기

챗봇에 질문을 입력하면 데이터가 기기를 전혀 떠나지 않고, 완전히 오프라인 상태에서 밀리초 단위로 응답을 받는 모습을 상상해 보세요. API 키도 필요 없고, 월간 구독료도 없으며, 데이터가 클라우드 서버로 전송되는 것에 대한 개인정보 보호 우려도 없습니다. 이것은 미래의 꿈이 아닙니다. 여러분의 컴퓨터에서 로컬 거대 언어 모델 (Local Large Language Model (LLM))을 실행하는 현실입니다. Ollama와 같은 도구의 등장으로, Python을 사용하여 프라이빗 AI 챗봇을 구축하는 것은 몇 개의 패키지를 설치하고 짧은 스크립트를 작성하는 것만큼 간단해졌습니다. 이제 함께 시작해 봅시다.

왜 로컬로 가야 하는가?

코드를 작성하기 전에, 왜 LLM을 로컬에서 실행하는 것이 혁신적인 변화인지 이해할 가치가 있습니다. OpenAI나 Anthropic과 같은 클라우드 기반 AI 서비스는 강력하지만, 몇 가지 트레이드오프 (trade-offs)가 따릅니다. 토큰당 비용을 지불해야 하고, 데이터가 그들의 서버에서 처리되며, 그들의 가동 시간 (uptime)에 의존해야 합니다. 로컬 LLM은 이 모델을 뒤집습니다. 모델을 한 번 다운로드하여 자신의 하드웨어에서 실행하면 완전한 제어권을 갖게 됩니다.

Ollama는 이를 가능하게 하는 엔진입니다. 이는 macOS, Linux, Windows에서 Llama 3, Phi 3 또는 Mistral과 같은 LLM을 실행하는 것을 단순화하는 가볍고 오픈 소스인 도구입니다. Ollama는 모델 다운로드, 메모리 관리 및 추론 (inference)을 처리하며, Python이 쉽게 상호작용할 수 있는 간단한 API를 제공합니다 [1][2].

1단계: Ollama 설치 및 모델 가져오기 (Pull)

첫 번째 단계는 기기에 Ollama를 설치하는 것입니다. ollama.com을 방문하여 Download를 클릭하고 사용 중인 운영 체제에 맞는 버전을 설치하세요 [2]. 설치가 완료되면 터미널 또는 명령 프롬프트(Command Prompt)를 열고 다음을 실행하여 작동 여부를 확인합니다:

ollama --version

버전 번호가 보인다면 준비가 된 것입니다. 다음으로 모델이 필요합니다. Ollama는 수십 개의 오픈 소스 모델을 지원하지만, 초보자 친화적인 챗봇을 위해서는 Llama 3.2가 훌륭한 선택입니다. 작고 빠르며 놀라울 정도로 유능합니다.

모델을 다운로드하려면 다음을 실행하세요:

ollama pull llama3.2

이 명령은 모델을 가져와 로컬에 저장합니다. 인터넷 속도에 따라 몇 분 정도 걸릴 수 있습니다 [2][7]. 완료되면 터미널에서 직접 테스트할 수 있습니다:

ollama run llama3.2

"프랑스의 수도는 어디인가요?"와 같은 질문을 입력하고 모델의 응답을 확인해 보세요. 응답이 온다면 Ollama가 완벽하게 작동하고 있는 것입니다.

Step 2: Python 환경 설정하기

이제 Python 측을 구축해 보겠습니다. 먼저, 프로젝트 폴더를 생성합니다:

mkdir local-llm-chatbot
cd local-llm-chatbot

이 폴더 안에 종속성 (dependencies)을 깔끔하게 관리하기 위한 **가상 환경 (virtual environment)**을 생성합니다. macOS 또는 Linux의 경우:

python3 -m venv chatbot
source chatbot/bin/activate

Windows (명령 프롬프트, Command Prompt)의 경우:

python3 -m venv chatbot
.\chatbot\Scripts\activate.bat

Windows (PowerShell)의 경우:

.\chatbot\Scripts\Activate.ps1

환경이 활성화되면, 필요한 Python 패키지를 설치합니다:

pip install langchain langchain-ollama ollama

LangChain과 langchain-ollama를 사용하는 이유는 이들이 Ollama 모델과 상호작용하기 위한 깔끔하고 높은 수준의 인터페이스 (high-level interface)를 제공하여, 코드를 더 짧고 유지보수하기 쉽게 만들어 주기 때문입니다 [2][3][7].

Step 3: 챗봇 코드 작성하기

코드 에디터(VS Code를 추천합니다)를 열고 main.py라는 파일을 생성합니다. 다음은 대화 기록 (conversation history)을 포함하는 간단한 챗봇을 만드는 완전한 실행 가능 Python 스크립트입니다:

from langchain_ollama import OllamaLLM

# 모델 초기화
...

파일을 저장하고 실행합니다:

python main.py

모두 로컬에서 실행되는 Llama 3.2로부터 질문을 입력하고 응답을 받을 수 있는 채팅 인터페이스가 나타납니다. history 리스트는 모델이 이전 메시지를 기억하도록 하여 더욱 자연스러운 대화 경험을 제공합니다 [1][2].

Step 4: 커스텀 및 확장하기

이것은 단지 기초일 뿐입니다. 이를 더욱 개선할 수 있는 몇 가지 방법은 다음과 같습니다:

Step 4: 커스텀 및 확장하기

이것은 단지 기초일 뿐입니다. 이를 더욱 개선할 수 있는 몇 가지 방법은 다음과 같습니다:

• 모델 변경: ollama pull phi3 명령으로 모델을 가져온 후, 코드의 model 매개변수를 업데이트하여 phi3, mistral, 또는 gemma를 사용해 보세요.
• 웹 UI 추가: Streamlit이나 Flask를 사용하여 브라우저 기반 인터페이스를 만들 수 있습니다. 예를 들어, Streamlit을 사용하면 50줄 미만의 코드로 채팅 UI를 구축할 수 있습니다 [6].
• RAG 구현: 챗봇이 사용자 자신의 문서(PDF나 Word 파일 등)의 질문에 답하게 하려면, LangChain과 ChromaDB를 사용하여 RAG (Retrieval-Augmented Generation) 계층을 추가할 수 있습니다 [2][8].
• 도구 추가: LangChain에서 도구를 정의하여 챗봇이 사용자 지정 함수(예: 날씨 정보 가져오기, 웹 검색)를 호출하도록 할 수 있습니다 [8].

문제 해결 팁 (Troubleshooting Tips)

• 모델을 찾을 수 없음 (Model not found): ollama pull llama3.2를 실행했고 Ollama가 실행 중인지 (ollama serve) 확인하세요.
• 느린 응답 속도 (Slow responses): 더 작은 모델(예: phi3)이 더 빠르지만 성능은 떨어집니다. GPU가 있다면, Ollama가 자동으로 이를 사용하여 더 빠른 추론을 수행합니다.
• 메모리 문제 (Memory issues): “out of memory” 오류가 발생하면, 더 작은 모델을 시도하거나 대화 기록 길이를 줄여보세요.

오늘 바로 개인 AI 구축 시작하기

이제 여러분의 컴퓨터에서 완전히 작동하는 로컬 LLM 챗봇이 준비되었습니다. API 키도 없고, 구독료도 없고, 데이터 유출 걱정도 없습니다. 오직 순수한 개인 AI만 있습니다.

가장 좋은 점은? 이것은 단지 시작일 뿐입니다. 이 챗봇을 문서 읽기, 작업 자동화, 또는 기존 앱에 통합하는 방식으로 확장할 수 있습니다. 로컬 AI 혁명이 지금 일어나고 있으며, 여러분이 그 일부입니다.

오늘 바로 시도해 보세요: Ollama를 설치하고, Llama 3.2를 가져온 다음, 위의 스크립트를 실행하여 자신만의 AI와 대화를 시작하세요. 결과를 Dev.to에 공유하고 저에게 태그해주세요. 함께 개인 AI의 미래를 만들어 갑시다. 🚀

이 글이 도움이 되었다면 커피 한 잔 사주세요 ☕ — 이 기사들이 계속 나올 수 있도록 힘을 주세요!

또한 제 AI 도구 모음도 확인해 보세요: AI 차원 세계 — 개발자를 위한 무료 AI 도구.

💡 관련 항목: extbf{콘텐츠 크리에이터 얼티밋 번들 (33% 할인)} — $29.99