로컬 LLM 셋업 가이드 (v34)

1. 개요 및 사전 요구사항

로컬 LLM은 클라우드 서비스가 아닌 로컬 머신에서 AI 모델을 실행하여 개인 정보 보호와 컨트롤을 확보합니다. 이 가이드는 Linux 기반 시스템에서 효율적인 로컬 LLM 환경을 구축하기 위한 실용적인 가이드입니다.

시스템 요구사항

• CPU: 최소 4코어 (8코어 이상 권장)
• RAM: 최소 16GB (32GB 이상 권장)
• GPU: NVIDIA RTX 30xx/40xx 시리즈 (CUDA 11.8+ 필요)
• 저장소: 최소 50GB 여유 공간
• OS: Ubuntu 22.04 LTS 이상 또는 CentOS 8+

사전 설치

# 패키지 업데이트
sudo apt update && sudo apt upgrade -y

# 필요 패키지 설치
sudo apt install git cmake build-essential python3-pip -y

# CUDA 설치 (NVIDIA GPU 사용 시)
wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run
sudo sh cuda_11.8.0_520.61.05_linux.run

2. 프레임워크 비교

프레임워크	장점	단점	적합성
llama.cpp	가볍고 직접 제어 가능, C++ 기반	복잡한 설정 필요, 최적화 부족
Ollama	설치 간단, Docker 기반, GUI 지원	자원 사용량이 높음
vLLM	높은 추론 성능, 멀티 GPU 지원	설정 복잡, 메모리 요구량 큼
LocalAI	다양한 API 호환성, 커뮤니티 지원	최신 모델 지원 제한

추천: llama.cpp + Ollama 조합으로 빠르고 안정적인 로컬 LLM 구축

3. 설치 단계별 가이드 (llama.cpp 기반)

3.1 llama.cpp 설치

# 소스 코드 클론
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

# 빌드
make clean
make

# 필요 시 CUDA 지원 빌드
make clean
make CUDA=1

3.2 모델 다운로드 및 변환

# HuggingFace에서 모델 다운로드
wget https://huggingface.co/TheBloke/Llama-3-8B-Instruct-GGUF/resolve/main/llama-3-8b-instruct.Q4_K_M.gguf -O models/llama3-8b-q4k.gguf

# 모델 변환 (필요 시)
python3 convert.py models/llama3-8b-q4k.gguf

3.3 기본 실행 테스트

# 단일 모델 실행
./main -m models/llama3-8b-q4k.gguf -p "Hello, world!" --temp 0.7

# 대화형 모드
./main -m models/llama3-8b-q4k.gguf -c 2048 --temp 0.7 -n 200

4. 모델 선택 가이드

모델	코어 용량	추론 성능	적합 사용 사례
Llama-3-8B	4GB	빠름	일반 개발자용
Llama-3-70B	14GB	매우 빠름	고급 애플리케이션
Mistral-7B	4GB	빠름	텍스트 생성
Mixtral-8x7B	14GB	매우 빠름	복잡한 작업

# 모델별 추론 성능 비교 (100토큰)
time ./main -m models/llama3-8b-q4k.gguf -n 100 --temp 0.7
time ./main -m models/mistral-7b-q4k.gguf -n 100 --temp 0.7

5. 양자화 타입 설명

Q4_K_M vs Q5_K_M

# Q4_K_M: 4bit 양자화 (더 작은 크기)
# Q5_K_M: 5bit 양자화 (더 높은 정확도)

# 모델 생성 예시
python3 convert.py --outtype q4_k_m models/llama3-8b-q4k.gguf

# 성능 비교
./main -m models/llama3-8b-q4k.gguf -n 50 --temp 0.7
./main -m models/llama3-8b-q5k.gguf -n 50 --temp 0.7

권장: Q4_K_M 모델로 충분한 성능과 크기 균형을 유지

6. API 설정 및 통합

6.1 Ollama 설치 (추가 API 서버)

# Ollama 설치
curl -fsSL https://ollama.com/install.sh | sh

# 모델 로드
ollama run llama3

# API 호출 예제
curl http://localhost:11434/api/generate \
  -d '{
    "model": "llama3",
    "prompt": "Why is the sky blue?",
    "stream": false
  }'

6.2 API 통합 예제

# Python API 예제
import requests

def call_local_llm(prompt):
    response = requests.post(
        'http://localhost:11434/api/generate',
        json={
            "model": "llama3",
            "prompt": prompt,
            "stream": False
        }
    )
    return response.json()['response']

# 사용 예
result = call_local_llm("Write a hello world program in Python")
print(result)

7. Systemd 서비스 설정 (24/7 운영)

7.1 서비스 생성

sudo nano /etc/systemd/system/local-llm.service

[Unit]
Description=Local LLM Service
After=network.target

[Service]
Type=simple
User=developer
WorkingDirectory=/home/developer/llama.cpp
ExecStart=/home/developer/llama.cpp/main -m /home/developer/models/llama3-8b-q4k.gguf --port 8080 --temp 0.7 -n 200
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target

7.2 서비스 시작

# 서비스 등록
sudo systemctl daemon-reload
sudo systemctl enable local-llm.service
sudo systemctl start local-llm.service

# 상태 확인
sudo systemctl status local-llm.service

8. 모니터링 및 성능 최적화

8.1 성능 모니터링

# GPU 사용량 모니터링
nvidia-smi -l 1

# 시스템 리소스 확인
htop

# 추론 성능 벤치마크
time ./main -m models/llama3-8b-q4k.gguf -n 100 --temp 0.7

8.2 메모리 최적화

# 캐시 최적화
export CUDA_CACHE_MAXSIZE=2147483648  # 2GB

# 메모리 설정
./main -m models/llama3-8b-q4k.gguf -c 2048 --temp 0.7 --ctx 2048

8.3 로그 설정

# 로그 파일 생성
mkdir -p /var/log/local-llm/
touch /var/log/local-llm/llm.log

# 로깅 설정 (수정된 실행 명령어)
./main -m models/llama3-8b-q4k.gguf -p "test" --log-file /var/log/local-llm/llm.log

9. 실제 명령어 예제

9.1 대화형 모드 예제

bash
# 실시간 대화
./main -m models/llama3-8b-q4k.gguf -c 2048 --temp

---

📥 **Get the full guide on Gumroad**: https://gumroad.com/l/auto ($7)