로컬 LLM 셋업 가이드 (v40)

1. 개요 및 사전 요구사항

로컬 LLM 환경은 높은 개인 정보 보호, 낮은 지연 시간, 그리고 정책 및 인프라 제약을 피할 수 있는 장점이 있습니다. 이 가이드는 리눅스 머신에서 최적화된 로컬 LLM을 설정하는 실용적인 방법을 제공합니다.

사전 요구사항:

• OS: Ubuntu 20.04 이상 또는 Debian 11 이상
• CPU: 최소 4코어, 권장 8코어 이상
• RAM: 최소 16GB, 권장 32GB 이상
• GPU: NVIDIA GTX 10xx 이상 (CUDA 11.8 이상 필요)
• Storage: 최소 50GB 여유 공간 (모델 파일 용량이 매우 큼)

# 시스템 정보 확인
lscpu
free -h
nvidia-smi

2. 프레임워크 비교

프레임워크	특징	장점	단점
llama.cpp	C++로 구현된 최적화된 런타임	높은 성능, 최소 의존성	명령줄 기반
Ollama	Docker 기반 관리 도구	설치 간단, 모델 관리 용이	리소스 소모가 크고, 모델 로딩 속도 느림
vLLM	Python 기반, 고성능	높은 토큰 처리량	복잡한 설정, 많은 메모리 요구
LocalAI	REST API 기반, 다양한 엔진 지원	모델 호환성 높음, API 기반	다중 엔진 지원으로 인한 복잡성

추천: llama.cpp를 사용하여 직접 구축

3. 설치 단계 (llama.cpp 기반)

3.1 레포지토리 복제 및 빌드

# 필수 패키지 설치
sudo apt update
sudo apt install git cmake build-essential python3-pip -y

# llama.cpp 레포지토리 클론
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp

# 빌드
make clean
make

3.2 GPU 지원 활성화 (NVIDIA)

# CUDA 설치 (필요시)
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-keyring_1.0-1_all.deb
sudo dpkg -i cuda-keyring_1.0-1_all.deb
sudo apt-get update
sudo apt-get install cuda-toolkit-11-8 -y

# llama.cpp 빌드 시 CUDA 활성화
make clean
CUDA=1 make

3.3 실행 스크립트 생성

# ~/llama_run.sh 생성
cat > ~/llama_run.sh << 'EOF'
#!/bin/bash
cd ~/llama.cpp
./main -m ./models/llama-2-7b-chat.Q4_K_M.gguf \
       -p "Qwen: " \
       -n 512 \
       -ngl 35 \
       --temp 0.7 \
       --repeat-penalty 1.1
EOF

chmod +x ~/llama_run.sh

4. 모델 선택 가이드

모델	설명	추천 사용 사례
Llama-2-7B	베이스 모델, 70억 파라미터	일반적인 챗봇, 문법 분석
Llama-2-13B	더 강력한 베이스 모델	높은 정확도가 필요한 작업
Mistral-7B	최적화된 베이스 모델	빠른 추론, 높은 성능
Qwen-7B	알리바바의 중국어 최적화 모델	중국어 콘텐츠 처리

예시 모델 다운로드:

# 모델 디렉토리 생성
mkdir -p ~/llama.cpp/models

# Qwen-7B 모델 다운로드 (예시)
wget https://huggingface.co/Qwen/Qwen-7B-Chat-GGUF/resolve/main/qwen-7b-chat-q4_k_m.gguf -O ~/llama.cpp/models/qwen-7b-chat-q4_k_m.gguf

5. 양자화 유형 설명

양자화	설명	성능
Q4_K_M	4비트 양자화, 최적화된 메모리 사용	높은 성능, 적은 메모리
Q5_K_M	5비트 양자화, 중간 성능	균형 잡힌 성능
Q8_0	8비트 양자화	최대 정확도, 메모리 사용량 증가
F16	반정밀도 (FP16)	최고 정확도, 메모리 최대 사용량

# 모델 별 성능 비교
./main -m ./models/llama-2-7b-chat.Q4_K_M.gguf -n 512 -ngl 35 --temp 0.7
./main -m ./models/llama-2-7b-chat.Q5_K_M.gguf -n 512 -ngl 35 --temp 0.7

6. API 설정 및 기존 도구 통합

6.1 OpenAI 호환 API 서버

# API 서버 실행
./server -m ./models/llama-2-7b-chat.Q4_K_M.gguf \
         -p "Qwen: " \
         -n 512 \
         -ngl 35 \
         --host 0.0.0.0 \
         --port 8080 \
         --threads 8 \
         --temp 0.7 \
         --repeat-penalty 1.1

6.2 Python 클라이언트 예시

# client.py
import openai

client = openai.OpenAI(
    base_url="http://localhost:8080/v1",
    api_key="EMPTY"
)

response = client.chat.completions.create(
    model="llama2",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Hello!"}
    ]
)

print(response.choices[0].message.content)

7. Systemd 서비스 설정 (24/7 운영)

# 서비스 파일 생성
sudo nano /etc/systemd/system/llama.service

# 내용 추가:
[Unit]
Description=Local LLM Server
After=network.target

[Service]
Type=simple
User=your_username
WorkingDirectory=/home/your_username/llama.cpp
ExecStart=/home/your_username/llama_run.sh
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target

# 서비스 활성화 및 시작
sudo systemctl daemon-reload
sudo systemctl enable llama.service
sudo systemctl start llama.service
sudo systemctl status llama.service

8. 모니터링 및 성능 최적화

8.1 성능 모니터링

# GPU 사용량 모니터링
nvidia-smi -l 1

# CPU 사용량 모니터링
htop

# 로그 확인
journalctl -u llama.service -f

8.2 성능 테스트

# 추론 성능 테스트
./main -m ./models/llama-2-7b-chat.Q4_K_M.gguf \
       -p "Qwen: " \
       -n 100 \
       -ngl 35 \
       --temp 0.7 \
       --repeat-penalty 1.1 \
       --timings

8.3 메모리 최적화

# GPU 메모리 최적화
./main -m ./models/llama-2-7b-chat.Q4_K_M.gguf \
       -n 512 \
       -ngl 35 \
       --temp 0.7 \
       --repeat-penalty 1.1 \
       --ctx-size 4096 \
       --batch-size 512

9. 실제 사용 예시

9.1 챗봇 환경 구성

bash

---

📥 **Get the full guide on Gumroad**: https://gumroad.com/l/auto ($7)