🚀 기술 브리핑: 이 튜토리얼은 Gate of AI의 에이전트 워크플로우(Agentic Workflows) 심층 분석 시리즈 중 일부입니다. 전체 기술 분석, 인터랙티브 코드 샌드박스 및 네이티브 아랍어 번역을 보려면 원문 기사 바로가기를 방문하십시오.

튜토리얼
중급

LLM 파인튜닝 데이터 검증 파이프라인 구축하기

파인튜닝 데이터를 확인하기 위해 3단계의 실패 즉시(fail-fast) 워크플로우를 사용하고, 작은 검증 테스트를 실행하며, 런타임 이상 징후를 감지하고, 모델 동작 측정을 위한 별도의 검증 세트를 보존합니다.

파인튜닝 검증이 가장 먼저 이루어져야 하는 이유

LLM을 파인튜닝하는 것은 단일 학습 명령이라기보다는 파이프라인입니다. 의미 있는 계산이 시작되기 전에, 팀은 구성이 구문적으로 유효하고(syntactically valid), 데이터가 예상되는 구조를 가지고 있으며, 짧은 실행이 명백한 실패 없이 완료될 수 있는지 확인해야 합니다. 검증된 FT-Dojo 연구는 이를 점진적 검증(progressive validation)이라고 설명합니다: 저렴한 체크가 먼저 실행되고, 그 뒤로 점점 비용이 많이 드는 체크가 이어집니다. 단계에서 실패하는 구성은 전체 실행에 리소스를 소모하기보다 즉시 거부됩니다.

이 튜토리얼은 그러한 아이디어의 작고 제공업체 중립적인(provider-neutral) 버전을 구현합니다. JSON Lines 데이터셋을 검증하고, 모든 예제의 스키마를 확인하며, 경로 및 구성 값을 검증하고, 샘플에 대한 축소된 미니 실행을 수행하며, 빈 데이터셋이나 비유한(non-finite) 손실 값과 같은 런타임 이상 징후를 보고합니다. 이는 상업용 학습 API로 데이터를 제출하지 않습니다. 이 경계는 의도적입니다: 제공업체별 특정 학습 형식 및 모델 적격성은 검증된 컨텍스트 밖에 있습니다.

워크플로우는 또한 학습 데이터와 검증 세트를 분리합니다. 파인튜닝(fine-tuning) 과정에서, 학습 손실(training loss)은 학습 예제에 대해 최소화됩니다. 그 후, 검증 손실(validation loss)은 트레인 가능한 매개변수를 업데이트하는 데 사용되지 않은 데이터에 대해 계산됩니다. 이러한 분리는 단순히 모델이 본 예제를 잘 맞춘다는 것을 보여주는 것 이상의, 일반화(generalization)에 대한 증거를 제공합니다.

매개변수 효율적 파인튜닝(parameter-efficient fine-tuning)의 경우, LoRA는 대부분 사전 학습된 가중치(pretrained weights)를 고정하고 대신 훈련되는 저랭크 분해(low-rank decomposition)를 도입합니다. 검증된 하이퍼파라미터 연구(hyperparameter study)는 LoRA 랭크(LoRA rank), 스케일링 알파(scaling alpha), 드롭아웃(dropout), 그리고 학습률(learning rate)을 중요한 변수로 강조합니다. 올바른 엔지니어링 대응은 하나의 값을 맹목적으로 복사하는 것이 아니라, 각 후보 구성을 검증하고 동일한 검증 세트에서 비교하는 것입니다.

전제 조건 (Prerequisites)

• Python 3.10 이상.
• 대화형 예제를 포함하는 JSONL 데이터셋.
• 학습 예제와 중복되지 않는 별도의 JSONL 검증 세트.
• JSON, 명령줄 실행(command-line execution), 및 Python 가상 환경에 대한 기본적인 지식.

아래의 검증 유틸리티는 Python의 표준 라이브러리만을 사용합니다. 이는 학습 스택을 설치하기 전에 실패를 빠르게 확인할 수 있는 단계를 쉽게 실행할 수 있게 합니다. 나중에 구현될 학습 과정은 Hugging Face Transformers API를 사용할 수 있으며, 이 API는 검증된 하이퍼파라미터 연구에서 모델 처리, 훈련 및 검증에 사용되는 API입니다.

단계 1: 프로젝트 및 데이터셋 계약 생성 (Create the Project and Dataset Contract)

프로젝트 디렉토리와 가상 환경을 생성합니다. 이 파이프라인은 비어있지 않은 각 JSONL 라인을 하나의 예제로 처리할 것입니다. 모든 예제는 최소 두 개의 객체를 가진 messages 배열을 포함해야 합니다. 모든 메시지는 지원되는 역할(supported role)과 비어있지 않은 문자열 콘텐츠를 필요로 합니다. 마지막 메시지가 목표 어시스턴트 응답(target assistant response)이어야 합니다.

mkdir llm-finetuning-validation
cd llm-finetuning-validation
python -m venv .venv
...

data/train.jsonl을 다음과 같은 예제로 생성합니다:

data/validation.jsonl을 별도로 생성합니다. 동일한 레코드를 두 파일에 복사하지 마십시오. 검증된 연구는 미세 조정된 모델을 검증 세트(validation set)로 평가하므로, 이 세트는 훈련에 흡수되기보다는 해당 목적을 위해 사용 가능하게 유지되어야 합니다.

2단계: 정적 및 스키마 검증 구현

정적 검증(Static validation)은 첫 번째이자 가장 비용이 적게 드는 단계입니다. 이는 입력 경로가 존재하는지, 모든 비어있지 않은 줄이 유효한 JSON인지, 레코드가 객체인지, 그리고 대화 구조가 데이터셋 계약을 충족하는지를 확인합니다. 또한 LoRA rank, scaling alpha, dropout, 학습률(learning rate), 배치 크기(batch size), 미니 실행 길이(mini-run length)에 대한 구성 값도 검사합니다. 이러한 필드는 검증된 컨텍스트에서 논의된 하이퍼파라미터(hyperparameters)에 해당하며, 스크립트는 그 형태를 검증할 뿐 특정 값이 최적이라고 주장하지는 않습니다.

src/validate_pipeline.py 생성:

from __future__ import annotations

import argparse
...

3단계: 축소된 미니 실행 수행

전체 미세 조정(fine-tuning)을 시작하기 전에 검증기(validator)를 실행합니다:

python -m src.validate_pipeline \
  --train data/train.jsonl \
  --validation data/validation.jsonl \
...

스크립트는 정적, 스키마 또는 형식 검사 중 하나라도 실패하면 미니 실행 전에 멈춥니다. 이는 검증된 FT-Dojo 작업에서 설명하는 fail-fast 동작입니다. 여기서 성공적인 미니 실행은 모델이 잘 작동할 것이라는 증거가 아닙니다. 단지 선택된 데이터와 구성이 저렴한 구조적 및 단기 실행 검사를 통과했음을 보여줄 뿐입니다.

기본 배치 크기 4가 포함된 이유는 이것이 보편적으로 정확하기 때문이 아니라, 검증된 하이퍼파라미터 연구에서 사용되었기 때문입니다. 하드웨어 용량, 시퀀스 길이, 모델 크기, 그리고 학습 구현 방식에 따라 다른 설정이 필요할 수 있습니다. 마찬가지로, 예시 LoRA 값들은 권장 최적값이 아니라 검증 입력값일 뿐입니다. 동일한 검증 세트를 사용하여 후보들을 비교하고 각 실행의 구성을 기록하세요.

4단계: 검증 손실 및 LoRA 실험 해석하기

정적 확인(static checks)과 미니 실행(mini-run)을 통과하면, 실제 학습 구현으로 모델을 파인튜닝하고 검증 손실(validation loss)을 계산할 수 있습니다. 이 검증된 연구는 Hugging Face Transformers API를 사용하여 모델 처리, 학습 및 검증을 수행하며, 대부분의 사전 학습된 가중치(pretrained weights)는 고정(frozen)한 상태로 LoRA 훈련 가능한 매개변수(trainable parameters)에 맞게 조정합니다. 이 연구에서는 순위(rank), 스케일링 알파(scaling alpha), 드롭아웃(dropout), 그리고 학습률(learning rate)을 조사하는데, 이러한 설정들이 다운스트림 성능에 영향을 미치기 때문입니다.

실험 표는 간단하고 재현 가능하게 유지하세요. 모든 후보에 대해 데이터셋 개정판(dataset revision), 모델 식별자(model identifier), LoRA 순위(rank), 알파(alpha), 드롭아웃, 학습률, 배치 크기, 훈련 단계 또는 에포크 수, 훈련 손실(training loss), 그리고 검증 손실을 기록하세요. 훈련 데이터나 검증 데이터가 동시에 변경된 실행들은 비교하지 마세요. 낮은 훈련 손실만으로는 불충분합니다. 적응된 모델이 보류된 예제들(held-out examples)에 일반화되는지 평가하려면 검증 결과가 필요합니다.

검증된 연구는 또한 NOMAD를 사용한 블랙박스 하이퍼파라미터 최적화도 설명합니다. 이는 실험적인 최적화 접근 방식일 뿐이며, 검증을 건너뛸 이유가 되지 않습니다. 제안되는 모든 구성은 비용이 많이 드는 학습이 승인되기 전에 여전히 저렴한 확인(cheap checks)과 축소된 실행(reduced run)을 통과해야 합니다.

5단계: 런타임 무결성 검사 추가하기

런타임 검사(Runtime checks)는 정적 유효성 검사(static validation)가 감지할 수 없는 실패를 찾아야 합니다. 검증된 FT-Dojo 설명은 특히 폭발하는 손실(exploding loss), 빈 데이터셋(empty datasets), 그리고 유효하지 않은 기울기(invalid gradients)를 런타임 이상 현상(runtime anomalies)의 예시로 명시합니다. 위에 제시된 표준 라이브러리 유틸리티는 비어 있는 미니-런(mini-run)과 비유한정(non-finite) 시뮬레이션 값을 검사하며, 실제 학습 통합(training integration)은 동일한 결정 지점(decision point)을 학습 프레임워크가 생성하는 실제 손실 및 기울기 값에 연결해야 합니다.

산성 점검(sanity check)이 실패하면 실행을 중단하십시오. 데이터셋이 비어 있거나, 출력 구조가 호환되지 않거나, 손실 값이 비유한정 상태가 되거나, 기울기가 유효하지 않은 경우 완료된 프로세스를 성공적인 실험으로 해석해서는 안 됩니다. 단계적 설계(staged design)의 목적은 계산을 거의 수행하기 전에 깨진 구성(broken configurations)을 조기에 거부하고 목표화된 진단 정보(targeted diagnostics)를 반환하는 것입니다.

6단계: 승인 후에만 전체 파인튜닝 실행하기

approved_for_full_run: true 보고서는 로컬 게이트가 통과했다는 것만을 의미합니다. 이는 품질, 안전성 또는 유용한 최종 모델을 보장하지 않습니다. 전체 학습 전에 대표적인 예시를 검사하고 검증 세트(validation set)가 분리되어 있는지 확인하십시오. 그런 다음 선택한 파인튜닝 구현을 실행하고 변경되지 않은 검증 세트로 결과 모델을 평가하십시오.

검증된 실험 설정은 80GB 메모리를 가진 NVIDIA A100 GPU 4개, AdamW 옵티마이저, 배치 크기 4를 사용했습니다. 이러한 세부 사항들을 해당 연구의 조건으로 간주하십시오. 이들은 해당 실험을 재현하기 위한 유용한 참고 지점이지만, 모든 LLM 또는 LoRA 실행에 대한 보편적인 인프라 요구 사항은 아닙니다.

흔한 실수: 매번 실험 후 검증 예시를 변경하면 점수를 비교하는 것이 불가능해집니다. 구성을 비교할 때는 검증 세트를 고정하고, 문서화된 데이터셋 개정(dataset revision)을 통해서만 변경하십시오.

핵심 요약

• 비용이 많이 드는 계산을 수행하기 전에 정적 및 스키마 유효성 검사를 사용하세요.
• 데이터 형식을 확인하고 전체 학습 전에 축소된 미니 런(mini-run)을 실행하세요.
• 실행 시간 동안 빈 데이터, 비유한(non-finite) 손실, 그리고 무효한 기울기(invalid gradients)를 감지하세요.
• 별도의 검증 세트(validation set)를 유지하고 파인튜닝 후에 검증 손실을 계산하세요.
• LoRA 랭크, 알파, 드롭아웃, 학습률을 실험 변수로 취급하세요.
• 범용 기본값(universal defaults)이 아닌 연구별 하드웨어 및 최적화 도구 설정(optimizer settings)을 문서화된 조건으로 사용하세요.

출처 (Sources)

• FT-Dojo: Language Agents를 활용한 자율 LLM 파인튜닝 방향.
• 대규모 언어 모델 명령어 튜닝을 위한 하이퍼파라미터 최적화.
• Hugging Face: 합성 데이터로 SmolLM 파인튜닝하기.

GateOfAI, LLC (Delaware, USA)의 AI 에디토리얼 및 엔지니어링 팀이 검토했습니다.