서론

"RAG를 사용하고 있지만, 특정 도메인의 전문 용어나 사내 표현이 정확하게 나오지 않는다", "모델의 말투와 답변 스타일을 통일하고 싶다", "매번 프롬프트로 지시하지 않아도 도메인 지식을 갖게 하고 싶다"──이러한 과제에 직면했을 때 선택지로 떠오르는 것이 **파인튜닝 (Fine-tuning)**입니다.

본 기사에서는 RAG와의 구분 방법부터 시작하여, 2026년 개인 개발에서 현실적인 수법인 LoRA·QLoRA의 구현까지 해설합니다.

RAG와 파인튜닝의 구분

먼저 이 판단이 중요합니다. 어느 쪽을 선택할지는 "무엇을 해결하고 싶은가"에 달려 있습니다.

양자는 배타적이지 않습니다. "파인튜닝 (Fine-tuning)으로 도메인 적응 + RAG로 최신 정보 보완"이라는 조합이 2026년 실무의 주류가 되고 있습니다.

기본적인 판단 플로우:

먼저 RAG로 시도한다
↓
정도가 한계에 부딪히거나 스타일이 맞지 않는다
...

파인튜닝의 종류

Full Fine-tuning

모델의 모든 파라미터 (Parameter)를 업데이트하는 수법. 정밀도는 가장 높지만, LLM 클래스의 모델에서는 수십~수백 GB의 VRAM이 필요하며, 개인 개발에서는 거의 비현실적입니다.

PEFT (Parameter-Efficient Fine-Tuning)

모델의 일부 파라미터 (Parameter)만을 업데이트하는 수법들의 총칭입니다. 2026년 개인 개발에서의 표준은 이것입니다.

대표적인 수법이 LoRA (Low-Rank Adaptation)와 QLoRA입니다.

LoRA란

LoRA는 "모델의 가중치 행렬에 저차원(Low-rank) 행렬을 추가 학습하는" 수법입니다.

모든 파라미터를 업데이트하는 것이 아니라, 각 층에 작은 "어댑터 (Adapter)"를 추가하여 그 부분만을 학습합니다. 학습하는 파라미터 수는 원래 모델의 0.1~1% 정도로 충분합니다.

원래 모델의 가중치 W (동결·변경 없음)
+
저차원 행렬 A × B (이것만 학습)
...

QLoRA는 여기서 한 발 더 나아가 원래 모델을 4bit 양자화(Quantization)하여 VRAM을 절감한 수법입니다. 7B 모델이라면 8GB VRAM (RTX 3080 / M2 Max Mac)으로 학습할 수 있습니다.

구현: QLoRA로 7B 모델을 파인튜닝하기

환경 설정

pip install transformers datasets peft trl bitsandbytes accelerate

데이터 준비

파인튜닝에는 지시 (Instruction)와 답변 (Output)의 쌍을 준비합니다. 최소 100~500건, 이상적인 것은 1,000건 이상입니다.

# 데이터는 JSONL 형식으로 준비한다
# fine_tune_data.jsonl
# {"instruction": "세라믹스의 소결 온도의 일반적인 범위를 알려주세요", "output": "세라믹스의 소결 온도는 재료에 따라 다르지만, 일반적으로 1,000~1,700℃ 범위에서 실시됩니다..."}
...

QLoRA를 이용한 학습

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import LoraConfig, get_peft_model, TaskType
...

Unsloth로 가속화하기

Unsloth를 사용하면 동일한 QLoRA 학습이 2~5배 빨라지며 메모리 소비도 줄일 수 있습니다. 2026년 현재, 개인 개발에서의 LoRA 학습에서는 Unsloth가 사실상의 표준이 되어 있습니다.

from unsloth import FastLanguageModel
model, tokenizer = FastLanguageModel.from_pretrained(
model_name="unsloth/Qwen2.5-7B-Instruct",
...

학습 완료 모델의 추론

from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
# 베이스 모델에 LoRA 어댑터를 통합
...

Ollama와 조합하여 로컬 추론하기

학습된 LoRA 어댑터를 Ollama에서 사용하고 싶다면, 먼저 베이스 모델(Base Model)에 병합(Merge)한 후 GGUF 형식으로 변환해야 합니다.

# LoRA 어댑터를 베이스 모델에 병합
merged_model = model.merge_and_unload()
merged_model.save_pretrained("./merged_model")
...

# llama.cpp로 GGUF로 변환
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
...

필요 리소스 기준

GPU가 없는 경우에는 Google Colab (T4·16GB) 또는 **Kaggle Notebooks (P100·16GB)**에서 무료 또는 저비용으로 시도할 수 있습니다. 두 환경 모두 QLoRA + 7B 모델이라면 동작합니다.

자주 겪는 시행착오 포인트

① 데이터량이 너무 적음

100건 미만일 경우 과적합 (Overfitting)되기 쉬우며, 원래 모델의 일반화 성능 (Generalization Performance)이 떨어질 수 있습니다. 우선 100~500건 정도로 시도해 보고, 정확도를 확인하며 늘려가는 것을 권장합니다.

② 학습률 (Learning Rate)이 너무 높음

LLM의 파인튜닝 (Fine-tuning)은 학습률에 민감합니다. 2e-4 정도부터 시작하고, 손실 (Loss)이 발산하는 경우에는 1e-4 이하로 낮춰주세요.

③ 프롬프트 포맷 (Prompt Format)의 불일치

학습 데이터의 포맷과 추론 시의 포맷을 반드시 일치시켜야 합니다. ### 지시:와 ### 답변:의 구분자가 어긋나면 정확도가 대폭 하락합니다.

④ 평가를 소홀히 함

학습 후에는 반드시 홀드아웃 (Hold-out) 테스트 세트로 평가해야 합니다. 학습 데이터에 대한 과적합은 손실(Loss)이 낮아지더라도 파악하기 어려울 수 있습니다.

요약

지금까지의 시리즈에서 다루었던 RAG·LangGraph·MCP·Ollama·컨텍스트 엔지니어링 (Context Engineering)과 조합함으로써, "도메인 특화 LLM을 로컬에서 구동하고 RAG로 보완한다"라는 강력한 구성을 개인 개발에서도 실현할 수 있습니다.

참고 링크

Discussion