Meta Description: LoRA는 수년간 PEFT (Parameter-Efficient Fine-Tuning) 미세 조정 분야를 지배해 왔습니다. 하지만 2026년 벤치마크 결과에 따르면, 이미지 생성, 메모리 효율성 및 수학적 추론 능력에서 OFT, BEFT, Lily가 LoRA를 능가하는 것으로 나타났습니다. 다음은 모든 사용 사례에 대해 LoRA를 넘어 올바른 PEFT 미세 조정 전략을 선택하고자 하는 개발자를 위한 심층 기술 가이드입니다.

LoRA를 넘어: LLM 및 Diffusion 모델 미세 조정을 위한 최적의 PEFT 기술 선택 가이드 (2026년 개발자용)

목차

• 서론 (Introduction)
• LoRA가 기본값이 된 이유 (Why LoRA Became the Default)
• LoRA의 한계 (The Cracks in LoRAs Armor)
• 도전자들을 만나다: OFT, BEFT, 그리고 Lily (Meet the Challengers: OFT, BEFT, and Lily)
• 벤치마크 심층 분석 (Benchmark Deep Dive)
• 의사결정 프레임워크: PEFT 기술 선택하기 (The Decision Framework: Choosing Your PEFT Technique)
• OpenEnv: 에이전트 RL을 위한 PEFT 미세 조정 (OpenEnv: PEFT Fine-Tuning for Agentic RL)
• 실전 구현 가이드 (Practical Implementation Guide)
• 결론 (Conclusion)
• 참고 문헌 (References)

서론 (Introduction)

지난 2년 동안 언어 모델(Language Model)이나 확산 모델(Diffusion Model)을 미세 조정한 적이 있다면, 거의 확실하게 가장 먼저 LoRA를 선택했을 것입니다. Low-Rank Adaptation (LoRA)은 LoRA를 넘어선 PEFT 미세 조정 논의에서 사실상의 표준이 되었습니다. 정확히 말하자면, 다른 대안에 대한 논의 자체가 없었기 때문입니다. LoRA가 곧 정답이었습니다.

하지만 2026년 6월, 상황이 바뀌었습니다.

HuggingFace는 LLM과 확산 모델 모두에 걸쳐 8가지 PEFT (Parameter-Efficient Fine-Tuning) 방법론을 대상으로 광범위한 벤치마크를 발표했으며, 그 결과는 명확합니다: LoRA는 더 이상 대부분의 미세 조정 작업에서 최선의 선택이 아닙니다. Orthogonal Fine-Tuning (OFT)은 더 적은 VRAM을 사용하면서도 이미지 생성 품질 면에서 LoRA를 능가합니다. Lily는 수학적 추론 벤치마크에서 모든 LoRA 변형 모델들을 압도합니다. BEFT는 메모리 오버헤드를 극적으로 줄여, LoRA로는 불가능했던 하드웨어에서도 미세 조정이 가능하게 합니다.

이것은 미미한 개선이 아닙니다. 기술 카테고리 자체가 변화하고 있는 것입니다.

이 가이드에서는 이러한 기술들이 무엇인지뿐만 아니라, 구현 세부 사항, 코드, 수학적 원리, 그리고 여러분의 미세 조정 파이프라인을 위해 정보에 기반한 선택을 내리는 데 필요한 의사결정 프레임워크까지 심도 있게 다룹니다.

왜 LoRA가 기본값이 되었는가

LoRA가 왜 도전을 받고 있는지 이해하려면, 먼저 왜 LoRA가 승리했는지를 이해해야 합니다.

LoRA (Hu et al., 2021)는 매우 단순하지만 기발한 관찰을 제시합니다: 미세 조정 (Fine-tuning) 과정에서 사전 학습된 가중치 행렬 W의 업데이트는 낮은 내재적 순위 (Intrinsic rank)를 가진다는 것입니다. 전체 행렬 W ∈ R^(d×k)를 업데이트하는 대신, LoRA는 업데이트를 두 개의 작은 행렬로 분해합니다:

ΔW = B × A
여기서 B ∈ R^(d×r), A ∈ R^(r×k), r << min(d, k)

A와 B만이 학습됩니다. 사전 학습된 W는 동결 (Frozen)됩니다. 추론 (Inference) 시점에 조정된 가중치는 W + α/r × B × A가 되며, 여기서 α는 스케일링 하이퍼파라미터 (Scaling hyperparameter)입니다.

그 매력은 구체적입니다:

1. 파라미터 수가 10,000배 감소합니다: 대규모 모델의 경우 효과가 극대화됩니다. Llama-3 70B는 약 700억 개의 파라미터를 가지고 있지만, 이를 위한 LoRA 어댑터 (Adapter)는 약 700만 개일 수 있습니다.
2. 학습 VRAM이 모델 크기가 아닌 순위 (Rank)에 따라 확장됩니다: 단일 A100 40GB에서 7B 모델을 미세 조정할 수 있습니다.
3. 어댑터는 모듈식입니다: 런타임 (Runtime)에 어댑터를 병합 (Merge), 교체 (Swap) 또는 조합 (Compose)할 수 있습니다.
4. 원본 모델 가중치는 손상되지 않습니다: 이를 통해 작업 간의 핫스왑 (Hot-swapping)이 가능해집니다.

HuggingFace PEFT를 사용하면 구현은 단 세 줄의 코드면 충분합니다:

from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM

...

확산 모델 (Diffusion models, Stable Diffusion XL, Flux 등)의 경우, UNet의 어텐션 투영 (Attention projections)에 동일한 패턴이 적용됩니다. LoRA로 학습된 DreamBooth 모델은 전체 소비자용 이미지 생성 생태계의 중추가 되었습니다.

그렇다면 무엇이 잘못되었을까요? 잘못된 것은 없습니다. LoRA는 여전히 훌륭합니다. 하지만 HuggingFace 벤치마크는 2026년 프로덕션 미세 조정에서 중요하게 작용할 세 가지 근본적인 한계를 드러냈습니다.

LoRA 갑옷의 균열

1. 가혹한 학습률 민감도 (Learning Rate Sensitivity)

LoRA의 유효 학습률(effective learning rate)은 η × α/r이며, 여기서 η는 옵티마이저(optimizer)의 학습률입니다. 이는 r과 α가 명확하지 않은 방식으로 상호작용하는 얽혀 있는 하이퍼파라미터(hyperparameters)임을 의미합니다. 최근 연구(arXiv:2602.04998)에 따르면, LoRA의 최적 학습률 범위는 전체 미세 조정 (full fine-tuning)보다 3~5배 더 좁으며, 아키텍처와 데이터셋에 따라 크게 달라집니다.

실제로 개발자들은 미세 조정 연산량(compute)의 30~40%를 학습률 탐색 (learning rate sweeps)에 소비합니다. 이는 사소한 불편함이 아닙니다. 70B 모델의 경우, 안정적인 학습 역학 (training dynamics)을 찾는 데만 수천 달러의 GPU 비용이 발생할 수 있음을 의미합니다.

2. 기하학적 구조의 보존 실패 (Geometric Structure Is Not Preserved)

LoRA는 결과적인 변환의 기하학적 구조에 대한 어떠한 제약 없이 ΔW = BA를 업데이트합니다. 특정 피사체나 스타일을 위해 확산 모델 (diffusion models)을 미세 조정할 때 이는 매우 중요합니다. 사전 학습된 가중치 공간 (pre-trained weight space)은 특징(질감, 모양, 조명) 간의 기하학적 관계를 인코딩하고 있는데, 제약 없는 저차원 업데이트 (low-rank update)는 이를 왜곡할 수 있습니다.

OFT의 핵심 통찰은 직교성 보존 (orthogonality preservation) — 즉, 은닉 표현 (hidden representations)의 초구면 에너지 (hyperspherical energy)를 안정적으로 유지하는 것이 생성 모델 (generative models) 미세 조정을 위한 올바른 귀납적 편향 (inductive bias)이라는 점입니다. LoRA에는 이러한 편향이 없습니다.

3. 랭크 1에서의 메모리 효율성 정체 (Memory Efficiency Plateaus at Rank 1)

LoRA의 메모리 점유율 (memory footprint)은 레이어당 O(r × (d + k))로 확장됩니다. 메모리를 줄이기 위해 r을 낮출 수는 있지만, r=4 미만으로 내려가면 그래디언트 신호 (gradient signal)가 너무 희소해져 효과적인 학습이 불가능해집니다. BEFT는 다른 수학적 메커니즘을 사용하여 이 한계를 완전히 깨뜨리며, 학습 품질을 유지하면서도 랭크 1 미만의 유효 메모리 비용을 달성합니다.

도전 과제들: OFT, BEFT, 그리고 Lily

OFT — 직교 미세 조정 (Orthogonal Fine-Tuning)

OFT (Qiu et al., 2023)는 LoRA의 저차원 가산 업데이트 (low-rank additive update)를 곱셈적 직교 변환 (multiplicative orthogonal transformation)으로 대체합니다:

W' = R × W
여기서 R은 직교하도록 제약됩니다: R^T R = I

직교 제약(orthogonality constraint)은 OFT가 은닉 표현(hidden representations)의 **초구면 에너지 (hyperspherical energy)**를 보존한다는 것을 의미합니다. 즉, 미세 조정(fine-tuning) 과정 전반에 걸쳐 뉴런 간의 쌍별 각도 관계(pairwise angular relationships)가 유지됩니다. 생성 작업(이미지 합성, 스타일 전이, 피사체 중심 생성)의 경우, 이는 더 나은 충실도(fidelity)로 직결됩니다. 즉, 미세 조정된 모델이 새로운 콘텐츠에 적응하면서도 사전 학습된 모델의 시각적 개념에 대한 이해를 유지한다는 것입니다.

벤치마크를 통한 실질적인 결과는 다음과 같습니다: OFT는 이미지 생성 작업에서 **0.708의 DINO 유사도 (similarity)**를 달성한 반면 (LoRA는 0.697), VRAM 사용량은 9.01 GB에 불과했습니다 (LoRA는 9.97 GB). 더 나은 품질, 더 적은 메모리입니다.

from peft import OFTConfig, get_peft_model
from diffusers import StableDiffusionXLPipeline
from transformers import AutoModelForCausalLM
...

BEFT — 블록 희소 효율적 미세 조정 (Block-sparse Efficient Fine-Tuning)

BEFT는 완전히 다른 각도에서 메모리 문제를 해결합니다. 저차원 분해(low-rank decomposition) 대신, BEFT는 가중치 업데이트 행렬에 **블록 희소 마스크 (block-sparse mask)**를 적용합니다. 희소한 가중치 블록 세트만 업데이트되며, 나머지는 동결(frozen) 상태로 유지됩니다.

핵심 통찰은 블록 (block) 도메인에서의 희소 업데이트가 랭크 (rank) 도메인에서의 밀집 업데이트(LoRA가 제공하는 방식)보다 파라미터당 더 높은 표현력(expressive)을 가진다는 점입니다. 벤치마크에서 BEFT가 보여준 메모리 챔피언 지위는 이론적인 것이 아닙니다. BEFT는 LoRA를 사용할 경우 메모리 부족(OOM, Out-of-Memory)이 발생할 모델을 동일한 품질 수준에서 미세 조정할 수 있게 해줍니다.

from peft import BeftConfig, get_peft_model  # 최신 peft 버전에 따라 클래스 이름 확인 필요

beft_config = BeftConfig(
...

⚠️ 주의: BeftConfig 클래스 이름은 실제 운영 환경에서 사용하기 전에 최신 peft 라이브러리 릴리스를 통해 확인해야 합니다. HuggingFace PEFT 라이브러리는 활발하게 진화하고 있습니다.

Lily — 학습률 불변 저차원 적응 (Learning-rate Invariant Low-rank Adaptation)

Lily는 LoRA의 학습률 민감도(learning rate sensitivity) 문제를 직접적으로 해결합니다. 핵심 아이디어는 우아합니다. Lily는 그래디언트 업데이트(gradient update)를 **학습률 스케일(learning rate scale)에 불변(invariant)**하도록 정규화하여, 선택한 η에 관계없이 유효 업데이트 크기가 일정하게 유지되도록 합니다. 이제 더 이상 α와 r을 함께 튜닝할 필요가 없습니다. Lily는 이 둘을 분리(decouple)합니다.

눈에 띄는 벤치마크 수치는 다음과 같습니다. 정밀한 기호 조작이 필요한 수학적 추론 벤치마크인 MetaMathQA에서 Lily는 **54.9%의 정확도(accuracy)**를 달성했습니다. 이는 LoRA-RSLora의 53.2%와 일반적인 LoRA의 48.1%를 상회하는 수치입니다. 대부분의 실무자가 사용하는 LoRA 베이스라인 대비 +6.8포인트 향상된 결과입니다.

from peft import LilyConfig, get_peft_model  # 최신 peft 버전을 기준으로 클래스 이름 확인 필요

lily_config = LilyConfig(
...

⚠️ 참고: LilyConfig 클래스 이름은 최신 peft 라이브러리 릴리스를 통해 확인해야 합니다. 2026년 6월 기준으로, Lily는 peft>=0.11.0에서 사용할 수 있습니다.

벤치마크 심층 분석 (Benchmark Deep Dive)

HuggingFace PEFT 벤치마크(2026년 6월 18일 발표)는 두 가지 작업군, 즉 이미지 생성 (Stable Diffusion XL, DreamBooth 프로토콜)과 LLM 추론 (Llama-3-8B, MetaMathQA 벤치마크)에 걸쳐 8가지 미세 조정(fine-tuning) 방법을 평가했습니다. 상세한 기술적 결과는 다음과 같습니다.

이미지 생성 결과 (SDXL, DreamBooth)

• OFT는 VRAM 대비 품질 비율(quality-per-VRAM ratio) 측면에서 압도적인 승자입니다.
• 메모리가 제한적인 제약 조건일 때(예: A10G 24GB 서버)는 BEFT가 적절한 선택입니다.
• 이 작업 유형에서 LoRA r=16은 OFT에 의해 확실히 열세에 있습니다.

LLM 추론 결과 (Llama-3-8B, MetaMathQA)

• Lily의 학습률 불변성 (learning rate invariance)은 정밀한 최적화가 필요한 작업(수학, 코드, 논리)에서 정확도 향상으로 직결됩니다.
• OFT 또한 추론 작업에서 경쟁력 있는 성능(51.3%)을 보이며, 이는 직교성 (orthogonality)이 LLM에서도 도움이 된다는 것을 시사합니다.
• LoRA-RSLora는 기존의 vanilla LoRA에 비해 상당한 개선을 보여주며, LoRA를 계속 사용한다면 베이스라인 (baseline)으로 삼아야 합니다.

RSLora란 무엇이며 왜 중요한가

RSLora (Rank-Stabilized LoRA)는 스케일링 방식을 α/r에서 α/√r로 변경하여, 랭크 (rank)가 증가함에 따라 유효 학습률 (effective learning rate)을 안정화합니다. 만약 현재 RSLora를 사용하고 있지 않다면 즉시 전환해야 합니다. 이는 별도의 수정 없이 바로 적용 가능한 (drop-in) 개선 사항입니다:

lora_config = LoraConfig(
    r=16,
    lora_alpha=16,
...

의사결정 프레임워크: PEFT 기술 선택하기

기술 선택을 안내하기 위한 의사결정 매트릭스 (decision matrix)는 다음과 같습니다:

다음은 특정 데이터셋에 대해 LoRA 베이스라인과 세 가지 새로운 기술을 모두 벤치마크 (benchmark)할 수 있는 실용적인 스윕 스크립트 (sweep script)입니다:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments, Trainer
from peft import LoraConfig, OFTConfig, get_peft_model
...

OpenEnv: 에이전트 기반 강화학습 (Agentic RL)을 위한 PEFT 미세 조정