로컬에서 동작하는 AI 코드 생성 도구 환경 「OpenMythos」의 구축부터 실제 실행 절차, 그리고 더욱 편리하게 사용하기 위한 「파일 자동 저장 기능」 구현까지 정리했습니다.

Ollama 등의 로컬 LLM (Local LLM)을 활용하여, 기밀 코드를 외부에 전송하지 않고 안전하고 무료로 코드 생성을 하고 싶은 분들에게 추천합니다!

먼저 전체 시스템 구성도입니다.

Python 스크립트에서 로컬에서 가동되는 Ollama Server로 API 통신을 수행하고, Ollama가 관리하고 있는 Local LLM (Mistral이나 Qwen 등)이 추론 (Inference)을 실행하게 합니다. 이를 통해 완전 로컬 환경에서 고속 코드 생성이 가능합니다.

로컬에서 LLM을 구동할 때, 이전에는 HuggingFace의 transformers 등을 사용하여, 실행할 때마다 Python 스크립트로 수 GB의 모델 파일을 메모리 (VRAM)에 로드했습니다.

이 「Ollama 도입 전」 방식에는 다음과 같은 단점이 있었습니다.

기동이 매우 느림: 실행할 때마다 모델 로드로 인해 수십 초에서 수 분을 기다려야 함.

의존 관계가 복잡함: PyTorch나 CUDA의 버전을 맞추는 데 어려움을 겪음.

하지만 이번과 같이 Ollama를 백엔드 서버 (Backend Server)로서 상주 (도입 후) 시키는 구성으로 함으로써, 다음과 같이 극적으로 개선했습니다.

기동 시간 제로: 모델은 Ollama 서버 상에서 항상 대기(Standby) 상태이므로, Python 스크립트를 실행하는 순간 추론이 시작됩니다.

초고속 처리 시간: API를 통해 텍스트 스트리밍 (Text Streaming)을 받기만 하면 되므로, 경량 Qwen 모델이라면 단 1~2초, Mistral(7B)이라도 5~10초 정도면 코드 생성이 완료됩니다.

심플한 코드: Python 측은 API 클라이언트 (API Client)로서 동작할 뿐이므로, 코드가 매우 단순하고 가벼워집니다.

먼저 Python 가상 환경과 필요한 패키지 설치를 진행합니다.

• Python 3.12 이상
• Ollama가 설치되어 있고, 실행 중일 것

# 프로젝트 디렉토리 생성 및 이동
mkdir testMythos
cd testMythos
...

필요한 라이브러리 (open-mythos, openai 등)를 설치합니다.

pip install --upgrade pip
pip install open-mythos openai

Ollama 상에서 동작하는 LLM 모델을 다운로드해 둡니다. 이번에는 코드 생성 능력이 높은 Mistral과, 초경량·고속인 Qwen 모델을 사용합니다.

ollama pull mistral
ollama pull qwen2:1.5b

준비한 대화형 코드 생성 스크립트를 실행하여, 실제로 AI에게 코드를 작성하게 해 봅니다.

python mistral_code_gen.py

실행하면 다음과 같은 메뉴가 표시됩니다. 실제로 「Python으로 소수를 판별하는 함수」를 생성시켰을 때의 로그입니다.

======================================================================
Mistral-7B - 코드 생성 도구
======================================================================
...

Ollama가 대기 중인 덕분에, 모델 로드 시간 없이 단 2.45초 만에 고품질 코드가 생성되었습니다.

기본 스크립트에서는 위의 로그처럼 생성된 코드가 「콘솔에 그대로」 표시될 뿐이었습니다. 따라서 출력된 코드를 사용하려면 터미널에서 수동으로 드래그하여 복사한 뒤, 에디터에 붙여넣어야 했습니다.

그래서 이번에는 기본 동작에서 크게 변경을 가하여, 대화형으로 파일 출력 경로를 지정하고, 존재하지 않는 디렉토리를 포함하여 자동으로 생성 및 저장하는 기능을 추가했습니다.

변경점 1: save_to_file 헬퍼 (Helper) 함수 추가

import os
def save_to_file(content, default_filename="output.txt"):
    """생성 결과를 파일로 저장하는 헬퍼 (Helper) 함수 (디렉토리 자동 생성 포함)"""
...

변경점 2: 인터랙티브 모드 (Interactive Mode) 호출 측 개수

단순히 print(code)

를 수행하던 처리 직후에, 저장 의사 확인과 저장 처리를 포함했습니다.

# 변경 전 처리
print(code)
# 변경 후 처리 (추가)
...

이 개수를 통해, 대화형 프롬프트에서 Enter 키를 누르는 것만으로 자동으로 output 디렉토리가 생성되어 깔끔하게 파일로 출력되도록 되었습니다. 또한, 존재하지 않는 계층(예: my_project/src/main.py)을 지정하더라도 자동으로 폴더를 생성하여 저장해 줍니다.

로컬 LLM (Large Language Model) 환경을 운용함에 있어 몇 가지 주의해야 할 과제가 있습니다.

이번에 사용한 qwen2:1.5b와 같은 경량 모델은 1GB 미만의 메모리에서 동작하지만, mistral (7B) 클래스의 모델이 되면 약 4GB의 메모리 (VRAM)를 소비합니다. 로컬 머신의 사양에 따라서는 다른 무거운 작업(IDE 실행이나 브라우저 탭 다수 열기)과의 병행 처리가 조금 어려워질 가능성이 있습니다.

경량 모델은 매우 빠르게(초당 수십 토큰) 응답을 반환하지만, 복잡한 로직의 구현이나 일본어의 미세한 뉘앙스 해석에는 어려움을 겪는 경우가 있습니다.

용도에 맞춰 "간단한 보완에는 Qwen", "확실한 설계나 설명 생성에는 Mistral"과 같이 모델을 구분하여 사용하는 노하우가 필요합니다.

Ollama의 표준 모델에 대해 일본어로 프롬프트 (Prompt)를 입력할 경우, 영어로 입력했을 때와 비교하여 정밀도가 약간 떨어질 수 있습니다. 만약 일본어 정밀도를 높이고 싶다면, Llama-3 등을 베이스로 한 **일본어 특화 오픈 모델 (ELYZA 등)**을 추가로 ollama pull 하여 포함하면 더욱 향상된 경험을 할 수 있습니다.

"OpenMythos"와 "Ollama"를 조합함으로써, 비용을 들이지 않고 보안이 유지되는 코드 생성 환경을 간편하게 구축할 수 있었습니다!

나아가 출력 결과를 자동 저장하는 것과 같은 작은 아이디어를 더하는 것만으로도, 일상적인 개발에 큰 도움이 되는 개인용 AI 도구로 진화합니다.

여러분도 꼭 로컬 LLM 환경을 구축하여 자신만의 AI 어시스턴트를 키워보시기 바랍니다!