대규모 언어 모델 (LLM)을 처음부터 학습시키거나 특정 도메인을 위해 미세 조정 (Fine-tuning)하는 것은 머신러닝 (Machine Learning)만큼이나 분산 시스템 엔지니어링 (Distributed Systems Engineering)의 영역입니다. 안정적인 실행과 GPU 클러스터의 낭비 사이의 차이는 종종 데이터 위생 (Data Hygiene), 수치 정밀도 (Numerical Precision), 그리고 체크포인팅 (Checkpointing) 규율에서 결정됩니다. 이 가이드는 팀들이 모델을 효율적으로 학습시키기 위해 사용하는 운영상의 베스트 프랙티스(Best Practices)와, 학습 완료 후 해당 작업을 신뢰할 수 있고 비용 효율적인 추론 (Inference)으로 연결하는 방법을 다룹니다.

데이터 큐레이션 및 전처리 (Data Curation and Preprocessing)

모델의 품질은 데이터의 품질에 의해 제한됩니다. MinHash 또는 정확한 부분 문자열 매칭 (Exact Substring Matching)을 사용하여 문서 수준에서 공격적인 중복 제거 (Deduplication)를 수행하는 것부터 시작하세요. 과도한 반복, 비정상적인 문장 부호 밀도, 또는 작은 참조 모델 (Reference Model)로 측정했을 때 낮은 언어 모델 퍼플렉시티 (Perplexity) 점수와 같은 휴리스틱 규칙 (Heuristic Rules)을 사용하여 저품질 소스를 필터링하세요. 일관된 어휘 사전 (Vocabulary)으로 코퍼스 (Corpus)를 토큰화 (Tokenize)하고, 토크나이저 (Tokenizer)가 다국어 텍스트, 코드, 수학 기호를 성능 저하 없이 처리하는지 확인하세요. 워커 (Worker)들이 전체 코퍼스를 호스트 메모리에 압축 해제하지 않고 샘플을 스트리밍할 수 있도록 데이터를 WebDataset 또는 Arrow 형식으로 샤딩 (Shard)하세요.

아키텍처 및 스케일링 법칙 (Architecture and Scaling Laws)

GPU 클러스터를 예약하기 전에, 스케일링 법칙 (Scaling Laws)을 사용하여 컴퓨팅 최적화 (Compute-optimal) 구성을 선택하세요. Chinchilla 레시피는 밀집 트랜스포머 (Dense Transformers)의 경우 학습 토큰 수가 모델 파라미터 (Parameter) 수의 약 20배가 되어야 한다고 제안합니다. 전문가 혼합 (Mixture-of-Experts, MoE) 아키텍처의 경우, FLOPs를 추정할 때 전체 파라미터가 아닌 활성 파라미터 (Active Parameter) 수를 조정하세요. 배치 크기 (Batch Size)는 시퀀스 (Sequence) 단위가 아닌 토큰 (Token) 단위로 고정하고, 학습률 (Learning Rate) 웜업 (Warm-up)을 배치 크기 증가에 비례하도록 유지하세요. 만약 140B 토큰으로 7B 파라미터 모델을 학습시킨다면, 가중치 (Weights)와 함께 옵티마이저 상태 (Optimizer States)를 저장할 때 수십 테라바이트의 체크포인트 저장 공간을 계획해야 합니다.

학습 루프 안정성 (Training Loop Stability)

수치적 불안정성 (Numerical instabilities)은 대규모 모델 학습 실패의 가장 흔한 원인입니다. Ampere 세대 이상의 GPU를 사용하는 경우 bfloat16 혼합 정밀도 (mixed precision)를 사용하고, 가중치 (weights)의 float32 마스터 복사본을 유지하십시오. 그래디언트 (gradients)를 1.0에서 2.0 사이의 전역 노름 (global norm)으로 클리핑 (clip)하고, 급격한 변화 (spikes)를 조기에 포착할 수 있도록 매 스텝마다 노름을 기록하십시오. 초기 몇 퍼센트의 스텝 동안은 선형 웜업 (linear warm-up)을 포함한 코사인 디케이 스케줄 (cosine decay schedule)을 사용하십시오. 어텐션 (attention) 안정성을 위해, 이를 지원하는 모델의 경우 QK 레이어 정규화 (layer normalization) 또는 로짓 (logits)에 소프트캐핑 (softcapping)을 적용하십시오. 만약 손실 값의 급격한 상승 (loss spike)이 발생한다면, 실행 중 복구를 시도하기보다는 가장 최근의 정상적인 체크포인트 (checkpoint)에서 재개하십시오. 손상된 옵티마이저 상태 (optimizer states)가 지속되는 경우가 많기 때문입니다.

분산 학습 및 결함 허용 (Distributed Training and Fault Tolerance)

7B 파라미터를 초과하는 모델의 경우 데이터 병렬화 (Data parallelism)만으로는 충분한 경우가 거의 없습니다. 노드 내에서는 텐서 병렬화 (tensor parallelism)를, 노드 간에는 파이프라인 병렬화 (pipeline parallelism)를, 그리고 복제본 (replicas) 간에는 데이터 병렬화를 결합하여 사용하십시오. 분산 오브젝트 스토어 (distributed object store)로의 비동기 체크포인팅 (asynchronous checkpointing)을 사용하여, 매 천 스텝마다 학습 루프가 몇 분이 아닌 몇 초 동안만 차단되도록 하십시오. GPU 메모리 오류에 대한 자동화된 상태 점검 (health checks)을 구현하고, 온도 임계값이 상승하거나 수정된 ECC 카운트 (corrected ECC counts)가 발생하는 노드에서 작업을 선제적으로 이동시키도록 작업 스케줄러 (job scheduler)를 설계하십시오. 결함 허용 (fault-tolerant) 학습 프레임워크는 사람의 개입 없이 최신 체크포인트에서 재시작할 수 있어야 합니다.

학습 중 지속적 평가 (Continuous Evaluation During Training)

능력을 측정하기 위해 마지막 단계까지 기다리지 마십시오. 홀드아웃 벤치마크 스위트 (held-out benchmark suite)를 사용하여 매 수천 스텝마다 다운스트림 태스크 평가 (downstream task evaluation)를 실행하십시오. 이러한 평가는 추론 (inference)을 필요로 하며, 동일한 클러스터에서 수행할 경우 학습용 GPU 시간을 소모할 수 있습니다. 대신, 벤치마킹 작업을 전용 추론 API (inference API)로 오프로드 (offload)하십시오. Oxlo.ai는 요청 기반 과금 방식을 사용하는 개발자 우선 AI 추론 플랫폼으로, 프롬프트 길이에 관계없이 API 요청당 단일 고정 비용을 지불합니다. 긴 컨텍스트 (long contexts)나 다회차 대화 (multi-turn dialogues)를 참조 모델 (reference models)에 입력하는 평가 하네스 (evaluation harnesses)의 경우, 이는 토큰 기반 과금 (token-based billing)의 비용 불확실성을 제거해 줍니다. 학습 노드 (training nodes)를 차단하지 않고도 DeepSeek R1 671B MoE 또는 Llama 3.3 70B와 같은 플래그십 모델 (flagship models)을 대상으로 평가를 실행할 수 있습니다.

from openai import OpenAI
import os

...