← Series hub
← Previous

소형 언어 모델 (Small Language Model (SLM))을 성공적으로 학습시키고 정렬(aligning)하는 것은 전쟁의 절반에 불과합니다. 기업 환경에서 모델을 프로덕션 서빙(production serving)에 배포하려면 세 가지 주요 과제를 해결해야 합니다: 높은 요청 동시성 (high request concurrency), 낮은 응답 지연 시간 (low response latency), 그리고 **최소화된 컴퓨팅 비용 (minimized compute cost)**입니다.

이를 달성하기 위해서는 모델 압축 (양자화 (Quantization))과 LLM을 위한 최첨단 서빙 엔진인 vLLM을 사용한 고성능 서빙 설정을 숙달해야 합니다.

The SLM Playbook 시리즈의 마지막 기사인 이 글에서는 AWQ, GPTQ, GGUF 양자화 형식의 기술적 속성을 비교하고, VRAM을 절약하기 위한 Dynamic LoRA 서빙 (Dynamic LoRA serving) 설정 방법을 상세히 설명하며, 탄력적인 엔터프라이즈급 서빙 아키텍처의 개요를 서술합니다.

1. 양자화 형식 비교: AWQ vs. GPTQ vs. GGUF

양자화 (Quantization)는 모델 가중치(weights)를 16비트 부동 소수점 (FP16/BF16)에서 더 낮은 비트의 정수 표현 (예: INT8 또는 INT4)으로 압축하는 과정입니다. 이는 VRAM 요구 사항을 획기적으로 줄이고 하드웨어 연산 속도를 가속화합니다.

┌──────────────────────────────────────────────────────────────┐
│                Quantization Format Comparison                │
├──────────────────┬──────────────────┬────────────────────────┤
...

1.1. AWQ (Activation-aware Weight Quantization)

신경망의 모든 가중치가 출력 표현에 동일하게 기여하는 것은 아닙니다. AWQ는 양자화로부터 **가장 중요한 가중치 채널의 단 1%**만을 보호하는 것만으로도 모델 성능의 대부분을 유지할 수 있다는 것을 발견했습니다.

• 메커니즘 (Mechanism): AWQ는 이러한 중요한 가중치 채널을 식별하여 이를 원래의 16비트 형식으로 유지하고, 나머지 99%의 중요하지 않은 채널을 4비트로 양자화합니다.
• 결론 (Verdict): AWQ는 추론 작업에서 GPTQ에 비해 일관되게 더 낮은 퍼플렉시티 (perplexity, 더 높은 정확도)를 나타내며, 최적화된 CUDA 커널을 사용하는 NVIDIA GPU에서 빠르게 실행됩니다.

1.2. GPTQ (Generalized Post-Training Quantization)

GPTQ는 캘리브레이션 데이터셋 (calibration dataset)을 활용하여 2차 가중치 영향력 (Hessian matrix, 헤시안 행렬)을 계산하며, 양자화 오차 (quantization errors)를 보정하기 위해 나머지 가중치들을 조정합니다.

• 판결 (Verdict): 모든 서빙 엔진에서 폭넓게 지원됩니다. 하지만 파라미터 수가 적은 모델 (8B 미만)의 경우, GPTQ는 복잡한 수학이나 프로그래밍 작업에서 때때로 눈에 띄는 성능 저하를 유발할 수 있습니다.

1.3. GGUF (GPT-Generated Unified Format)

llama.cpp를 중심으로 한 오픈 소스 커뮤니티에서 개발된 GGUF는 CPU/GPU 혼합 실행 (mixed CPU/GPU execution)에 최적화된 단일 파일 모델 형식입니다.

• 판결 (Verdict): 로컬 개발자 환경 (MacBook, 노트북) 또는 전용 데이터센터 GPU가 부족한 엣지 배포 (edge deployments) 환경에서 모델을 실행하기 위한 표준입니다. 높은 처리량 (high-throughput)이 필요한 엔터프라이즈 백엔드 클러스터에는 권장되지 않습니다.

2. 동적 LoRA 아키텍처 설계 (Designing a Dynamic LoRA Architecture)

엔터프라이즈 배포 환경에서는 각 팀마다 서로 다른 미세 조정 (fine-tuned) 동작이 필요합니다 (예: 회계 팀은 JSON 송장 분류가 필요하고, 엔지니어링 팀은 코드 디버깅이 필요함).

개별 GPU에 별도의 모델 인스턴스를 호스팅하는 것은 인프라 예산을 기하급수적으로 증가시킵니다. vLLM의 **동적 LoRA 서빙 (Dynamic LoRA Serving)**이 이 문제를 해결합니다.

                   ┌────────────────┐
                   │  User Request  │
                   └───────┬────────┘
...

2.1. 동적 LoRA의 작동 방식 (How Dynamic LoRA Operates)

vLLM은 단일 공유 베이스 모델 (예: Llama 3 8B AWQ)을 GPU VRAM에 로드합니다. 요청이 특정 대상 LoRA 어댑터 (LoRA adapter)를 지정하면, vLLM은 디스크나 시스템 RAM에서 어댑터 파라미터를 동적으로 로드하고 순전파 (forward pass) 과정 중에 델타 가중치 조정 ($\Delta W$)을 즉석에서 계산합니다.

• 장점 (Advantage): 메모리 오버헤드를 최대 90%까지 줄입니다. 수십 개의 미세 조정된 작업별 어댑터를 단일 24GB GPU에서 동시에 서빙할 수 있습니다.

2.2. 동적 LoRA를 위한 vLLM 프로덕션 명령어 (vLLM Production Command for Dynamic LoRA)

python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Meta-Llama-3-8B-Instruct \
    --quantization awq \
...

API를 호출할 때, 클라이언트는 요청 페이로드(request payload)에 대상 어댑터(adapter)를 지정하기만 하면 됩니다:

{
  "model": "accounting-lora-adapter",
  "messages": [
...

3. 프로덕션 서빙 벤치마크 (Production Serving Benchmarks)

다음 벤치마크는 Llama 3 8B를 실행하는 단일 NVIDIA A10G (24GB VRAM)에서 달성한 메모리 및 처리량(throughput) 이득을 보여줍니다:

┌──────────────────────────────────────────────────────────────┐
│                     Serving Benchmark Results                │
├──────────────────┬──────────────────┬────────────────────────┤
...

• 핵심 요약 (Takeaway): 모델을 AWQ 4-bit로 압축하면 GPU VRAM을 60% 이상 절약할 수 있으며, FP16 대비 지속적인 서빙 처리량(throughput)을 2.4배 증가시킵니다. 이는 높은 동시성(high-concurrency)을 요구하는 기업용 워크로드를 서빙하기 위한 탄탄한 기반을 제공합니다.

SLM 플레이북 요약 (Summary of The SLM Playbook)

우리의 6단계 플레이북은 프라이빗 기업 인프라 내에서 소형 언어 모델(Small Language Models, SLM)을 커스텀하고 서빙하는 데 필요한 전체 워크플로우를 제공합니다:

1. 아키텍처 설계 (Architecture Design): 하이브리드 라우터 게이트웨이(Hybrid Router Gateway)를 통해 클라우드 프런티어 모델(cloud frontier models)과 로컬 SLM을 함께 배포함으로써 비용과 성능의 균형을 맞춥니다.
2. 데이터 엔지니어링 (Data Engineering): NEFTune 노이즈 주입(noise injection)과 SemDeDup 의미론적 가지치기(semantic pruning)를 사용하여 암기(memorization) 문제를 완화하고 지시어 데이터(instruction data)를 정제합니다.
3. 고성능 학습 (High-Performance Training): Axolotl 및 Unsloth를 사용하여 LoRA/QLoRA 학습 루프를 실행함으로써 GPU 활용도를 최적화합니다.
4. 지식 증류 (Knowledge Distillation): DeepSeek-R1과 같은 심층 모델로부터 구조화된 추론 경로(Chain of Thought)를 증류합니다.
5. 선호도 정렬 (Preference Alignment): 샘플 효율적인 DPO 및 GRPO 강화학습(reinforcement learning)을 사용하여 출력값과 안전 파라미터를 정렬합니다.
6. 기업용 서빙 (Enterprise Serving): 모델을 4-bit AWQ로 양자화(quantize)하고 vLLM의 동적 LoRA(Dynamic LoRA)를 통해 여러 작업을 동시에 서빙합니다.

하드웨어 최적화와 타겟 정렬(targeted alignment)을 결합함으로써, 여러분의 팀은 공개 API 비용의 극히 일부만으로 데이터 프라이버시를 보장하는 프라이빗하고 고도로 최적화된 모델을 배포할 수 있습니다.

SLM Playbook 홈 페이지에서 전체 소스 코드와 설정(configs)을 확인하세요.

{{< author-cta >}}

이 게시물은 원래 제 블로그인 Optimizing vLLM Serving: AWQ, GPTQ, & GGUF | SLM Playbook에 게시되었습니다.

안녕하세요, Lê Tuấn Anh (vesviet)입니다 👋
저는 고트래픽 플랫폼(월간 요청 수 2,500만 건 이상)을 구축한 17년 이상의 경력을 가진 시니어 Go 백엔드 아키텍트(Senior Go Backend Architect)이자 분산 시스템 엔지니어(Distributed Systems Engineer)입니다.
이 심층 분석(deep-dive)이 유익했다면, LinkedIn에서 연결하거나 tanhdev.com/hire에서 저의 컨설팅 서비스를 살펴보세요.