로컬 LLM 셋업 가이드 (v15)

로컬 LLM 셋업 가이드 (v15) DevOps 기반의 로컬 LLM 인프라를 빠르게 구축하는 실전 가이드 1. 개요 및 전제 조건 이 가이드는 로컬에서 LLM을 효율적으로 실행하기 위한 실전 가이드입니다. Linux 기반 머신 이 필요하며, GPU 지원이 있으면 더 빠른 성능을 얻을 수 있습니다. 요구사항: RAM : 최소 8GB, 권장 16GB 이상 CPU : 64비트 x86_64 (Intel/AMD) GPU : CUDA 지원 (NVIDIA) 또는 ROCm 지원 (AMD) 디스크 : 최소 20GB 여유 공간 (모델 다운로드 및 저장) 운영체제 : Ubuntu 22.04 LTS 이상 또는 CentOS 9 사전 준비: sudo apt update && sudo apt upgrade -y sudo apt install git build-essential cmake python3-pip -y 2. 프레임워크 비교: llama.cpp vs Ollama vs vLLM vs LocalAI 프레임워크 장점 단점 추천 사용 사례 llama.cpp 최소 의존성, 높은 성능, 직접 컴파일 가능 사용자 친화적 UI 부족 고급 사용자, 시스템 수준 최적화 필요 Ollama 간편 설치, Docker 기반, GUI 지원 메모리 사용량 높음 빠른 개발/테스트 vLLM 초고속 추론, 멀티 GPU 지원 복잡한 설정 필요 대규모 배포, 실시간 추론 LocalAI OpenAI API 호환, 다양한 모델 지원 느린 초기 로딩 프로덕션 API 서버 필요 최종 추천 : llama.cpp + llama-cpp-python + systemd 3. 추천 설정 설치 (llama.cpp 기반) 3.1 소스 코드 다운로드 및 컴파일 git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp make 3.2 Python 바인딩 설치 pip3 install llama-cpp-python 3.3 기본 실행 예제 ./main -m ./models/llama-2-7b-chat.Q5_K_M.gguf -p "Hello, world!" --temp 0.2 4. 모델 선택 가이드 모델 파라미터 추천 사용 사례 추천 quantization Llama-2 7B 7B 일반 챗봇, 코드 생성 Q5_K_M Mistral 7B 7B 다중 언어 처리 Q5_K_M Phi-3 Mini 3.8B 가볍고 빠른 추론 Q4_K_M Mixtral 8x7B 47B 고급 추론 Q5_K_M 실제 다운로드 예제: mkdir -p models cd models wget https://huggingface.co/TheBloke/Mistral-7B-v0.1-GGUF/resolve/main/mistral-7b-v0.1.Q5_K_M.gguf 5. 양자화 유형 설명 유형 설명 성능 크기 Q4_K_M Kahan summation, 최적화된 메모리 사용 빠름 최소 Q5_K_M Q4 기반 + 높은 정밀도 매우 빠름 중간 Q8_0 8-bit 정밀도 정확도 높음 크기 큼 F16 반정밀도 (FP16) 최고 정확도 가장 큼 양자화 예제: # 원본 모델을 Q5_K_M로 변환 python3 convert.py ./models/llama-2-7b-chat.bin --outtype q5_k_m 6. API 설정 및 기존 도구와 통합 6.1 API 서버 실행 python3 -m llama_cpp.server --model ./models/mistral-7b-v0.1.Q5_K_M.gguf \ --host 0.0.0.0 --port 8000 \ --n_ctx 4096 \ --n_threads 8 6.2 OpenAI 호환 API 테스트 curl http://localhost:8000/v1/completions \ -H "Content-Type: application/json" \ -d '{ "model": "mistral-7b", "prompt": "Write a function to calculate fibonacci in Python", "max_tokens": 200 }' 6.3 VSCode 연결 { "openai.apiKey" : "sk-xxx" , "openai.baseUrl" : "http://localhost:8000/v1" } 7. 24/7 운영을 위한 Systemd 서비스 7.1 서비스 파일 생성 sudo nano /etc/systemd/system/llm.service [Unit] Description = Local LLM Server After = network.target [Service] Type = simple User = ubuntu WorkingDirectory = /home/ubuntu/llama.cpp ExecStart = /home/ubuntu/llama.cpp/main -m /home/ubuntu/models/mistral-7b-v0.1.Q5_K_M.gguf \ --host 0.0.0.0 --port 8000 \ --n_ctx 4096 \ --n_threads 8 Restart = always RestartSec = 10 [Install] WantedBy = multi-user.target 7.2 서비스 시작 sudo systemctl daemon-reload sudo systemctl enable llm.service sudo systemctl start llm.service sudo systemctl status llm.service 8. 모니터링 및 성능 튜닝 8.1 성능 모니터링 스크립트 #!/bin/bash # monitor.sh while true ; do echo "=== Memory ===" free -h echo "=== CPU ===" top -bn1 | grep "Cpu(s)" echo "=== Load ===" uptime sleep 30 done 8.2 성능 최적화 파라미터 # CPU 코어 수 확인 nproc # 추론 최적화 옵션 ./main -m model.gguf \ --n_threads 8 \ --n_batch 512 \ --n_ctx 4096 \ --rope_freq_base 10000.0 \ --rope_freq_scale 1.0 \ --temp 0.2 \ --repeat_penalty 1.1 8.3 성능 벤치마크 # 테스트 모델 로드 시간 time ./main -m ./models/mistral-7b-v0.1.Q5_K_M.gguf -p "Test" --temp 0.1 # 추론 시간 측정 time ./main -m ./models/mistral-7b-v0.1.Q5_K_M.gguf \ -p "Explain quantum computing in simple terms" \ --temp 0.2 \ --n_predict 100 9. 실전 예제 커맨드 9.1 커스텀 텍스트 생성 ./main -m ./models/mistral-7b-v0.1.Q5_K_M.gguf \ -p "Write a 3-line poem about AI and humans" \ --temp 0.7 \ --n_predict 50 9.2 JSON 파싱 도우미 ./main -m ./models/mistral-7b-v0.1.Q5_K_M.gguf \ -p "Parse this JSON and extract the 'name' field: { " name " : " John " , " age " :30}" \ --temp 0.1 \ --n_predict 20 9.3 코드 자동 생성 bash ./main -m ./models/mistral-7b-v0.1.Q5_K_M.gguf \ -p "Write a Python function to validate email addresses" \ --temp 0.3 \ --- 📥 Get the full guide on Gumroad: https://gumroad.com/l/auto ($7)