LLM 파인튜닝 입문──RAG와의 구분법부터 기초에서 LoRA 구현까지【2026】

서론

"RAG를 사용하고 있지만, 특정 도메인의 전문 용어나 사내 표현이 정확하게 나오지 않는다", "모델의 말투와 답변 스타일을 통일하고 싶다", "매번 프롬프트로 지시하지 않아도 도메인 지식을 갖게 하고 싶다"──이러한 과제에 직면했을 때 선택지로 떠오르는 것이 **파인튜닝 (Fine-tuning)**입니다.

본 기사에서는 RAG와의 구분 방법부터 시작하여, 2026년 개인 개발에서 현실적인 수법인 LoRA·QLoRA의 구현까지 해설합니다.

RAG와 파인튜닝의 구분

먼저 이 판단이 중요합니다. 어느 쪽을 선택할지는 "무엇을 해결하고 싶은가"에 달려 있습니다.

과제	적합한 수법
최신 정보·사내 문서를 참조시키고 싶다	RAG
...

양자는 배타적이지 않습니다. "파인튜닝 (Fine-tuning)으로 도메인 적응 + RAG로 최신 정보 보완"이라는 조합이 2026년 실무의 주류가 되고 있습니다.

기본적인 판단 플로우:

먼저 RAG로 시도한다
↓
정도가 한계에 부딪히거나 스타일이 맞지 않는다
...

파인튜닝의 종류

Full Fine-tuning

모델의 모든 파라미터 (Parameter)를 업데이트하는 수법. 정밀도는 가장 높지만, LLM 클래스의 모델에서는 수십~수백 GB의 VRAM이 필요하며, 개인 개발에서는 거의 비현실적입니다.

PEFT (Parameter-Efficient Fine-Tuning)

모델의 일부 파라미터 (Parameter)만을 업데이트하는 수법들의 총칭입니다. 2026년 개인 개발에서의 표준은 이것입니다.

대표적인 수법이 LoRA (Low-Rank Adaptation)와 QLoRA입니다.

LoRA란

LoRA는 "모델의 가중치 행렬에 저차원(Low-rank) 행렬을 추가 학습하는" 수법입니다.

모든 파라미터를 업데이트하는 것이 아니라, 각 층에 작은 "어댑터 (Adapter)"를 추가하여 그 부분만을 학습합니다. 학습하는 파라미터 수는 원래 모델의 0.1~1% 정도로 충분합니다.

원래 모델의 가중치 W (동결·변경 없음)
+
저차원 행렬 A × B (이것만 학습)
...

QLoRA는 여기서 한 발 더 나아가 원래 모델을 4bit 양자화(Quantization)하여 VRAM을 절감한 수법입니다. 7B 모델이라면 8GB VRAM (RTX 3080 / M2 Max Mac)으로 학습할 수 있습니다.

구현: QLoRA로 7B 모델을 파인튜닝하기

환경 설정

pip install transformers datasets peft trl bitsandbytes accelerate

데이터 준비

파인튜닝에는 지시 (Instruction)와 답변 (Output)의 쌍을 준비합니다. 최소 100~500건, 이상적인 것은 1,000건 이상입니다.

# 데이터는 JSONL 형식으로 준비한다
# fine_tune_data.jsonl
# {"instruction": "세라믹스의 소결 온도의 일반적인 범위를 알려주세요", "output": "세라믹스의 소결 온도는 재료에 따라 다르지만, 일반적으로 1,000~1,700℃ 범위에서 실시됩니다..."}
...

QLoRA를 이용한 학습

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import LoraConfig, get_peft_model, TaskType
...

Unsloth로 가속화하기

Unsloth를 사용하면 동일한 QLoRA 학습이 2~5배 빨라지며 메모리 소비도 줄일 수 있습니다. 2026년 현재, 개인 개발에서의 LoRA 학습에서는 Unsloth가 사실상의 표준이 되어 있습니다.

from unsloth import FastLanguageModel
model, tokenizer = FastLanguageModel.from_pretrained(
model_name="unsloth/Qwen2.5-7B-Instruct",
...

학습 완료 모델의 추론

from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
# 베이스 모델에 LoRA 어댑터를 통합
...

Ollama와 조합하여 로컬 추론하기

학습된 LoRA 어댑터를 Ollama에서 사용하고 싶다면, 먼저 베이스 모델(Base Model)에 병합(Merge)한 후 GGUF 형식으로 변환해야 합니다.

# LoRA 어댑터를 베이스 모델에 병합
merged_model = model.merge_and_unload()
merged_model.save_pretrained("./merged_model")
...

# llama.cpp로 GGUF로 변환
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
...

필요 리소스 기준

모델 크기	기법	필요 VRAM	학습 시간 (1,000건)
7B	QLoRA	8GB	1~2시간
...

GPU가 없는 경우에는 Google Colab (T4·16GB) 또는 **Kaggle Notebooks (P100·16GB)**에서 무료 또는 저비용으로 시도할 수 있습니다. 두 환경 모두 QLoRA + 7B 모델이라면 동작합니다.

자주 겪는 시행착오 포인트

① 데이터량이 너무 적음

100건 미만일 경우 과적합 (Overfitting)되기 쉬우며, 원래 모델의 일반화 성능 (Generalization Performance)이 떨어질 수 있습니다. 우선 100~500건 정도로 시도해 보고, 정확도를 확인하며 늘려가는 것을 권장합니다.

② 학습률 (Learning Rate)이 너무 높음

LLM의 파인튜닝 (Fine-tuning)은 학습률에 민감합니다. 2e-4 정도부터 시작하고, 손실 (Loss)이 발산하는 경우에는 1e-4 이하로 낮춰주세요.

③ 프롬프트 포맷 (Prompt Format)의 불일치

학습 데이터의 포맷과 추론 시의 포맷을 반드시 일치시켜야 합니다. ### 지시:와 ### 답변:의 구분자가 어긋나면 정확도가 대폭 하락합니다.

④ 평가를 소홀히 함

학습 후에는 반드시 홀드아웃 (Hold-out) 테스트 세트로 평가해야 합니다. 학습 데이터에 대한 과적합은 손실(Loss)이 낮아지더라도 파악하기 어려울 수 있습니다.

요약

항목	내용
적합한 케이스	도메인 적응 (Domain Adaptation)·스타일 통일·프롬프트 축소
...

지금까지의 시리즈에서 다루었던 RAG·LangGraph·MCP·Ollama·컨텍스트 엔지니어링 (Context Engineering)과 조합함으로써, "도메인 특화 LLM을 로컬에서 구동하고 RAG로 보완한다"라는 강력한 구성을 개인 개발에서도 실현할 수 있습니다.

참고 링크

Discussion