저예산으로 AI 모델 실행하기: Ollama와 무료 LLM 사용 경험

저는 GPU가 없는 4GB RAM 클라우드 VM에서 AI 모델을 실행하고 있습니다. Ollama와 무료 API 폴백(fallback)을 사용하여 이를 어떻게 구현했는지 소개합니다.

도전 과제

• 하드웨어: 2 CPU 코어, 4GB RAM, GPU 없음
• 예산: 추론(inference) 비용 $0
• 목표: 콘텐츠 생성, 코드 분석 및 자동화를 위해 AI 모델을 24/7 실행

나의 솔루션: Ollama + 무료 API 체인

import requests

class LLMRouter:
...

모델 선택 가이드

4GB 사양의 머신에서 테스트한 결과에 기반한 가이드입니다:

메모리 최적화

4GB RAM에서 실행하려면 세심한 튜닝이 필요합니다:

# 환경 변수 (Environment variables)
export OLLAMA_NUM_THREADS=1          # OS를 위해 1개 코어 남겨두기
export OLLAMA_CONTEXT_LENGTH=2048    # 기본값 4096에서 축소
...

이러한 설정이 중요한 이유

• NUM_THREADS = 1: 코어가 2개 있습니다. 만약 Ollama가 두 코어를 모두 사용하면, OS와 다른 프로세스들이 자원을 할당받지 못해 충돌(crash)이 발생할 수 있습니다.
• CONTEXT_LENGTH = 2048: 기본값인 4096은 RAM 사용량을 두 배로 늘립니다. 2048은 작업의 90%를 수행하기에 충분합니다.
• KEEP_ALIVE = 24h: CPU 환경에서는 모델을 처음 로드(cold loading)할 때 10~30초가 소요됩니다. 모델을 활성 상태(warm)로 유지하면 이 지연 시간을 없앨 수 있습니다.
• MAX_LOADED_MODELS = 1: 로드된 각 모델은 RAM을 소비합니다. 한 번에 하나씩만 로드하여 OOM(Out of Memory)을 방지합니다.

폴백 체인(Fallback Chain) 구축

신뢰성의 핵심은 여러 개의 폴백(fallback) 옵션을 갖추는 것입니다:

class ResilientLLM:
    def __init__(self):
        self.chain = [
...

실제 성능

저의 4GB 클라우드 VM에서의 성능입니다:

• 단순 텍스트 생성 (50단어): 로컬 510초, 클라우드 23초
• 코드 생성 (100줄): 로컬 3060초, 클라우드 1015초
• 복잡한 분석: 로컬 25분, 클라우드 1530초
• 일일 추론 비용: $0 (100% 로컬 + 무료 티어 API)

저예산 AI를 위한 팁

1. 작동 가능한 가장 작은 모델 사용 — qwen2.5:0.5b가 작업의 60%를 처리함
2. 공격적인 캐싱 (Cache) — 동일한 콘텐츠를 다시 생성하지 말 것
3. 배치 요청 (Batch requests) — 하나의 프롬프트(Prompt)로 여러 항목을 처리할 것
4. 메모리 모니터링 — OOM (Out of Memory) 발생 전 사용하지 않는 모델을 종료할 것
5. 무료 티어 API 활용 — OpenRouter는 폴백(Fallback)용 무료 모델을 제공함

결론

AI를 실행하기 위해 값비싼 GPU가 반드시 필요한 것은 아닙니다. Ollama, 스마트한 모델 선택, 그리고 무료 API 폴백 (Fallback)을 활용하면 월 예산 $0로도 완전히 자율적인 AI 시스템을 구축할 수 있습니다. 핵심은 하드웨어가 아니라 최적화입니다.