GPU를 태워먹지 않고 로컬 LLM을 실행하는 방법

로컬에서 LLM (Large Language Models)을 사용해보고 싶지만, 당신의 RTX 4090이 제트 엔진 소리를 내고 전기 요금이 주택 담보 대출 상환액처럼 불어나고 있나요? 네, 저도 그런 경험이 있습니다.

좋은 소식은? 언어 모델을 실제로 _사용_하기 위해 괴물 같은 GPU가 반드시 필요한 것은 아니라는 점입니다. 그저 영리하게 접근하면 됩니다.

양자화 (Quantization)로 시작하기

첫 번째: 70B 파라미터 모델 전체를 다운로드하는 것을 멈추세요. 그것은 한 달에 한 번 식료품을 운반할 때 대형 트럭을 사는 것과 같습니다.

**GGUF 양자화 (Quantization)**가 당신의 조력자입니다. 이것은 기본적으로 아주 약간의 품질을 희생하는 대신 엄청난 속도와 메모리 절약 효과를 얻는 모델 압축 방식입니다. 4-bit 또는 8-bit 양자화를 사용하면 VRAM (Video RAM) 사용량을 절반 이하로 줄일 수 있습니다.

Ollama를 사용하세요 (복잡한 설정이 필요 없습니다):

ollama pull mistral:7b-q4
ollama run mistral:7b-q4

끝났습니다. Ollama가 모든 번거로운 작업을 처리하며 오래된 하드웨어에서도 부드럽게 실행됩니다.

GPU 레이어 (Layers): 중간 지점 찾기

양자화도 훌륭하지만, 만약 GPU를 가지고 있다면 왜 사용하지 않겠습니까? 대부분의 양자화된 모델은 나머지 부분을 시스템 RAM에 유지하면서 특정 레이어(Layers)를 VRAM으로 오프로딩 (Offloading)하는 것을 지원합니다.

Ollama를 사용하면 사용할 레이어 수를 지정하기만 하면 됩니다:

ollama run mistral:7b-q4 --num-gpu 10

GPU가 처리할 수 있는 능력에 따라 숫자를 높이거나 낮추세요. 이는 전력 소비를 합리적인 수준으로 유지하면서 순수 CPU 방식보다 확실히 빠릅니다.

더 나은 방법: 작업에 맞춰 훈련된 더 작은 모델 사용하기

대부분의 사람들이 놓치는 비밀이 여기 있습니다: 대부분의 작업에는 거대한 모델이 필요하지 않습니다.

• Mistral 7B는 대부분의 벤치마크에서 이전의 13B 모델들을 능가합니다.
• Phi-3는 그 크기에 비해 놀라울 정도로 성능이 좋습니다.
• TinyLlama는 로컬 코딩 작업에서 놀라운 성능을 보여줍니다.

챗봇이나 API 서비스를 구축하고 있다면, 미세 조정 (Fine-tuned)된 7B 모델이 훈련되지 않은 70B 모델을 매번 이깁니다.

추론 (Inference) 배치 처리하기

한 번에 하나의 프롬프트만 실행하고 계신가요? 그것은 성능을 낭비하고 있는 것입니다.

from ollama import Client

client = Client()
...

배치 처리 (Batching)는 GPU 활용도를 높여줍니다. 유휴 GPU 시간은 곧 낭비되는 돈입니다.

진짜 승부처: 컨텍스트 캐싱 (Context Caching)

여러 쿼리에 걸쳐 동일한 시스템 프롬프트 (System Prompt)나 문서를 재사용하고 있다면, 이를 캐싱 (Caching) 하세요. Ollama는 반복되는 컨텍스트 (Context)에 대해 이 작업을 자동으로 처리합니다.

이전: 매 요청마다 시스템 프롬프트 처리
이후: 시스템 프롬프트를 한 번만 처리하고 세션 동안 재사용

솔직히 말해서, 이것은 아무도 이야기하지 않는 가장 큰 성능 향상 요소입니다.

실제로 사용 중인 항목 모니터링하기

nvidia-smi --query-gpu=memory.used,memory.total --format=csv,nounit

이를 주기적으로 실행하세요. 생각보다 훨씬 적은 VRAM을 사용하고 있다는 것을 발견할 수도 있으며, 이는 추가적인 최적화가 가능하다는 것을 의미합니다.

전문가 팁: 전기 요금이 걱정된다면 nvidia-smi로 전력 제한 (Power Limit)을 설정하세요:

sudo nvidia-smi -pm 1
sudo nvidia-smi -pl 200  # 200W 제한

실제 수치

저는 RTX 3060 (12GB VRAM)에서 10개의 GPU 레이어(Layers)로 양자화된 Mistral 7B를 실행합니다:

• 사용 중인 VRAM: ~8GB
• 일반적인 응답 속도: 50-100 tokens/sec
• 전력 소모: ~100W
• 온도: 65-70°C

이 정도면 사용 가능한 수준입니다. 엄청나게 빠른 것은 아니지만, API, 로컬 채팅, 그리고 자동화에 진정으로 실용적입니다.

지루하지만 중요한 부분

여러분의 설정 (Setup)보다 워크플로 (Workflow)가 더 중요합니다. 더 큰 GPU를 구매하기 전에 다음을 시도해 보세요:

1. 양자화된 더 작은 모델을 시도하기
2. 요청을 배치 (Batch) 처리하기
3. 가능할 때 캐싱된 컨텍스트 사용하기
4. 실제로 GPU 가속 (Acceleration)이 필요한지 확인하기

스포일러: 사용 사례의 80%는 필요하지 않습니다.

무엇을 만들고 계신지 궁금하신가요? 댓글로 남겨주세요. 저는 실제로 댓글을 읽습니다.