272개의 프로덕션 실행을 통해 공유 GPU 클러스터에서 엔드투엔드 파인튜닝 시간을 예측하기.
생성형 언어 모델의 엔드투엔드 파인튜닝 시간 예측에 관한 예정된 논문의 미리보기입니다. 전체 버전은 곧 arXiv에 올라올 예정입니다.
GPU는 오늘날 AI 분야에서 가장 비싸고 희소한 자원 중 하나입니다. 공유 클러스터를 운영하는 사람은 매일 어떤 작업이 어떤 GPU에, 그리고 어떤 순서로 진행될지 결정해야 합니다. 이 계획의 성공 여부는 각 작업이 얼마나 오래 걸릴지에 대한 추정치만큼이나 좋습니다. 작업이 몇 시간 일찍 끝나면 다음 작업이 할당될 때까지 GPU가 유휴 상태로 있게 됩니다. 반대로 몇 시간이 늦게 끝나면, 뒤에 대기 중인 모든 것이 지연되고, 실험은 기다려야 하며, 납기는 미뤄집니다.
더 나은 지속 시간 추정치는 이를 추측이 아닌 계획으로 바꿉니다: 즉, 얼마나 많은 GPU를 사용하여, 언제, 어떤 작업이 진행될지 예측하고 그 사이에 유휴 용량을 최소화하는 것입니다. 하지만 대부분의 팀이 사용하는 추정치는 단순한 FLOPs 계산에 기반합니다. 이 계산은 9시간이라고 알려주지만, 실제 작업은 다음 날 오후가 되어야 끝납니다.
우리는 이 수학적 계산이 실제로 얼마나 벗어나는지, 그리고 작업이 할당되기 전에 더 나은 예측을 할 수 있는지 알고 싶었습니다. 그래서 우리는 NVIDIA H200 GPU를 사용한 프로덕션 풀에서 나온 272개의 실제 지도 학습 파인튜닝(Supervised Fine-Tuning, SFT) 작업을 가져와 분석적 추정치와 학습된 예측 모델을 비교했습니다.
간단히 말해: 일반적인 FLOP 기반 추정치는 우리가 관찰한 현상 중 거의 아무것도 설명하지 못합니다 (R² = 0.31, MAE 12.41 h). 반면, 작업 할당 전에 얻을 수 있는 정보만을 사용하는 CatBoost 회귀 모델은 5-폴드 교차 검증에서 R² = 0.98을 달성했으며, 평균 절대 오차(MAE)는 1.71 h, 중앙값 오차는 0.51 h를 기록했습니다. 이 격차는 폐쇄형 추정치가 할 수 없는 두 가지 요소에서 비롯됩니다. 이 회귀 모델은 평가 주기(evaluation cadence), 체크포인트 정책(checkpoint policy), GPU당 부하(per-GPU load) 및 파인튜닝 체제(fine-tuning regime)와 같은 훈련 관련 신호를 더 많이 포착하며, 과거 실행을 통해 그들 간의 비선형적 상호작용을 학습합니다.
밀집형(dense) Transformer의 경우, 훈련 비용은 대략 $6 \cdot P \cdot D$ 부동 소수점 연산(floating-point operations)이 필요하며, 여기서 $P$는 파라미터 수(parameter count), $D$는 훈련 토큰(training tokens) 수를 나타냅니다. 이를 GPU가 제공할 수 있는 성능으로 나누면 훈련 루프 시간(training-loop time)을 얻게 됩니다:
T_theoretical = (6 \cdot P \cdot D) / (N_GPU \cdot FLOPS_peak \cdot MFU)
여기서 $N_{GPU}$는 GPU 개수, $FLOPS_{peak}$는 사양서에서 확인한 단일 GPU의 최대 처리량(peak throughput)이며, $MFU$ (Model FLOPs Utilization)는 훈련이 실제로 달성하는 최대 성능 대비 비율입니다. 실제 작업은 메모리 트래픽, 통신 및 커널 비효율성 때문에 최고 성능으로 실행되지 않으므로, $MFU$는 일반적으로 30%에서 60% 사이에 위치하며, 주어진 작업에 대한 정확한 값은 사전에 알 수 없습니다.
이것은 최적화 루프(optimization loop)에 대한 좋은 설명입니다. 하지만 작업(job)은 루프 그 이상입니다. 첫 단계가 시작되기 전에 환경 설정(environment setup), 모델 다운로드 및 로딩, 토큰화(tokenization) 과정이 있습니다. 훈련 중에는 주기적인 평가와 체크포인트 업로드(checkpoint uploads)가 발생합니다. 마지막에 최종 모델은 오브젝트 스토리지(object storage)로 전송됩니다. 다중 테넌트 클러스터(multi-tenant cluster) 환경에서는 이 모든 것이 네트워크 및 스토리지 I/O를 두고 다른 작업들과 경쟁하게 됩니다.
이러한 오버헤드(overheads)는 구성에 따라 달라지며, 작업 부하(workload)나 GPU 개수에 깔끔하게 비례하지 않습니다. 동일한 공칭 컴퓨팅 성능을 가진 두 작업이 몇 시간의 차이로 완료될 수 있습니다.
비교를 공정하게 유지하기 위해, 우리가 테스트하는 FLOP 기준선(baseline)은 훈련 토큰뿐만 아니라 예정된 평가 토큰(scheduled evaluation tokens)도 계산하며, $MFU$는 넓은 범위에 걸쳐 변화를 주어(sweep) 테스트합니다.
우리는 전체 과정 지속 시간(end-to-end duration)을 지도 학습 회귀 문제(supervised regression problem)로 취급합니다. 작업 구성 및 모델 메타데이터로부터 구축된 특징 벡터(feature vector)가 주어지면, 해당 작업이 GPU를 할당받는 순간부터 완료되는 순간까지의 실제 경과 시간(wall-clock time)을 예측합니다. 대기열 시간(Queue time)은 제외됩니다.
이 연구는 두 가지 설계 선택에 의해 구체화되었습니다:
배포 전 모든 정보가 알려진다. 모든 입력은 제출된 설정(hyperparameters, 데이터셋 크기, 모델 식별자, GPU 할당)에서 나옵니다. 런타임 로그나 부분 진행 상황은 없습니다. 이것이 예측을 스케줄링에 사용할 수 있게 만드는 요소입니다.
오버헤드를 노출하는 특징들. 원시 설정 외에도 num_eval_data (모든 평가 사이클에서 처리된 샘플 수), num_saves 및 num_params_saved (체크포인트 I/O)와 같은 양, 그리고 GPU당 토큰 볼륨을 도출합니다. MFU를 0.45로 고정한 FLOPs 추정치 자체도 하나의 특징(baseline_time)으로 포함되므로, 모델은 컴퓨팅 전용 수치에서 시작하여 보정치를 학습합니다.
우리는 Linear Regression, Ridge, XGBoost, CatBoost를 비교했습니다. 특징 선택에는 상관관계 필터링(correlation filtering), 상호 정보량(mutual information), 그리고 순열 중요도(permutation importance)가 18개의 후보 특징 세트 전반에 걸쳐 결합되었으며, 이후 MAE를 기준으로 그리드 검색을 수행했습니다. 최종 CatBoost 모델은 24개의 특징을 사용합니다.
기업 생산 환경의 운영 로그에서 가져온 272개의 SFT 실행으로, 최대 150억 개의 파라미터에 이르는 여러 모델 패밀리(LoRA 및 전체 파인튜닝 모두 포함)와 광범위한 데이터셋 크기 및 하이퍼파라미터를 다룹니다. 공유 인프라. 작업들은 다른 학습 및 추론 워크로드와 함께 1개, 2개 또는 4개의 GPU에서 실행되었으며, 이 GPU들은 8개에서 32개에 달하는 H200 풀(pool)을 통해 1개에서 4개의 노드에 걸쳐 할당되었습니다. 측정된 시간에는 실제 경쟁(contention) 시간이 포함됩니다.지속 시간은 1.6시간에서 172.4시간 사이이며, 평균은 23.43시간, 중앙값은 15.29시간입니다.**스택:**Hugging Face Transformers와 Unsloth를 사용했습니다. 우리는 이 스택을 범주형 특징으로 모델링하며 두 라이브러리 간의 고정된 속도 향상에 대해서는 가정을 하지 않습니다.
272개 실행에 걸친 종단 간(end-to-end) 지속 시간 분포. 평균 23.43시간, 중앙값 15.29시간.
모든 수치는 계층화된 5겹 교차 검증(stratified 5-fold cross-validation)에서 가져왔습니다. 처음 네 행은 분석적이며 피팅(fitting) 과정을 포함하지 않습니다.
| Model | R² | RMSE (h) | MAE (h) |
|---|
| FLOP baseline (MFU 30%) | 0.31 | 20.45 | 12.41 |
| ... | CatBoost | 0.98 ± 0.01 | 3.52 ± 0.78 |
몇 가지 주목할 만한 점이 있습니다.
단일 MFU 값으로는 FLOP 기준선을 고정할 수 없습니다. 우리는 MFU를 0.25부터 0.65까지 변화시키며 테스트했습니다(swept). 가장 좋은 설정인 30%를 사용했음에도 불구하고, 평균적으로 23시간이 걸리는 작업에서는 여전히 평균 오차가 12시간을 초과합니다.
더 상세한 분석 모델은 격차를 해소하지 못했습니다. 두 번째 기준선으로, 이전 연구에서 나온 LLM 학습을 위한 분석 성능 모델인 Calculon (Isaev et al., SC '23)을 사용했습니다. 이 모델은 명시적인 레이어 그래프(explicit layer graph)를 구축하고 컴퓨팅(compute), 메모리 트래픽(memory traffic), 장치 간 통신(inter-device communication)을 고려합니다. 우리는 공개 구현을 확장하여 LoRA, 그룹화된 쿼리 어텐션(grouped-query attention), 융합 어텐션(fused attention), bfloat16, 그리고 SwiGLU를 포함하도록 했습니다. 이 모델의 추정치는 여전히 관찰된 실제 경과 시간(wall-clock time)의 단지 11%에 해당합니다. 이는 Calculon이 설계된 단계별 도구(step-level tool)로서의 가치를 전혀 말해주지 않습니다. 대신 프로덕션 작업 중 최적화 단계를 벗어나는 부분이 얼마나 많은지를 보여줍니다.
선형 모델은 도움이 되지만, 그 효과가 정체됩니다. Ridge를 사용하면 MAE가 7.23시간까지 낮아집니다. 구성(configuration)과 지속 시간(duration) 사이의 관계는 순수하게 선형적인 모델로는 잘 포착되지 않습니다.
그래디언트 부스팅(Gradient boosting)이 가장 큰 역할을 합니다. CatBoost와 XGBoost는 모든 지표에서 서로 1 표준편차 이내의 값을 보였습니다. 우리는 전반적으로 가장 낮은 평균 오차(mean error)를 가지고 있기 때문에 CatBoost를 채택했습니다.
CatBoost의 특성 중요도(feature importance)는 소수의 특성에 집중되어 있습니다. 예상대로 모델 및 워크로드 변수들이 존재하지만, 평가(evaluation) 및 체크포인트(checkpoint) 변수들도 마찬가지입니다. num_eval_data (작업 수명 주기 동안 평가에서 처리된 총 샘플 수)가 1위를 차지하며, 그 뒤를 num_trainable_params, batch_eval_size_percent, num_all_params, 그리고 num_gpus*batch_train_percent가 따르며, num_params_saved가 가장 낮은 중요도를 보였습니다.
그 뒤를 이어 SHAP 값(SHAP values)도 같은 이야기를 합니다: 높은 평가 볼륨(evaluation volume)은 예측 시간을 꾸준히 증가시키며, 학습 가능한 파라미터 수(trainable parameter count)는 비선형적인 영향을 미치며 가장 큰 모델에서만 크게 나타납니다.
폴드 전반에 걸친 CatBoost 모델의 평균 피처 중요도(Mean feature importance of the CatBoost model across folds) (PredictionValuesChange).
피처 중요도는 인과적 주장(causal claim)이 아닙니다. 그럼에도 불구하고, 이 패턴은 작업이 실제로 어떻게 사용되는지와 일치합니다. 얼마나 자주 평가하는지, 평가 세트가 얼마나 큰지, 그리고 몇 개의 체크포인트(checkpoint)를 유지할지가 모델 및 데이터셋 규모와 더불어 실시간 경과 시간(wall-clock time)을 형성합니다. 이는 사람들이 트레이닝 설정 파일(training config)을 작성할 때 습관적으로 내리는 선택들입니다.
플롯을 읽는 것에서 한 가지 주의할 점(caveat)이 있습니다: 더 큰 GPU 할당량은 예측 시간에 긍정적인 기여를 보입니다. 저희 데이터에서는, 더 큰 할당량이 더 큰 작업과 함께 발생하기 때문에 num_gpus가 부분적으로 작업 규모의 대리 지표(proxy for job scale) 역할을 합니다. 이는 GPU를 추가한다고 해서 작업이 느려진다는 의미는 아닙니다.
모든 272개의 폴드 외부 예측(out-of-fold predictions)을 살펴보면, 중앙값 절대 오차(median absolute error)는 0.51시간입니다. 예측의 80%는 2.20시간 이내이며, 90%는 4.31시간 이내입니다. 작업 지속 시간별로 나누어 보면:
| Job duration (h) | Runs | Median abs. error (h) | P90 (h) |
|---|
| 1.56 to 5 | 60 | 0.30 | 1.55 |
| ... | | | |
최대 60시간까지는 중앙값 오차가 약 1시간 이하로 유지됩니다. 모델이 어려움을 겪는 부분은 긴 꼬리(long tail) 영역이며, 60시간을 초과하는 실행이 단지 13건에 불과하므로 이를 데이터의 한계(data limitation)로 해석합니다.
실제 지속 시간에 대한 폴드 외부 절대 오차(Out-of-fold absolute error against real duration), 지속 시간 범위별로 색상 지정. 오류는 60시간까지 낮게 유지되다가 희소한 꼬리 부분에서 넓어집니다.
더 많은 데이터가 여전히 도움이 되어야 합니다. 고정된 20% 홀드아웃(holdout) 기준으로 볼 때, 트레이닝 파티션의 85%에서 100%로 갈 때 MAE는 1.63시간에서 1.50시간으로 떨어지지만, 명확한 평탄점(plateau)은 보이지 않습니다.
실제로는 이 예측기가 작업이 시작되기 전에 스케줄러에게 계획할 수 있는 지속 시간을 제공합니다: 어떤 작업을 함께 실행해야 하는지, 언제 GPU가 확보될지, 그리고 특정 실행이 마감 시간(deadline) 내에 완료될 수 있을지를 알려줍니다.
SFT만 적용. 우리는 RLHF, DPO 또는 RLVR과 같은 다른 훈련 및 정렬 전략은 포함하지 않았습니다.단일 GPU 유형. 모든 실행에는 H200이 사용되었습니다. 적합된 모델은 해당 인프라에 맞춰 보정되었으므로, 재훈련 없이 다른 GPU 세대로 수치적으로 전이될 것이라고 기대해서는 안 됩니다. 혼합 풀(mixed pools)을 위한 예측기 역시 컴퓨트 처리량, 메모리 용량 및 대역폭, 상호 연결 토폴로지 같은 하드웨어 기술자가 필요합니다.매우 긴 실행 횟수 부족. 오류는 60시간을 초과하면 커집니다.
전이(transfer) 방법은 오버헤드를 고려한 특징(overhead-aware features), 다중공선성(multicollinearity)-인식 선택, 그리고 비교 프로토콜입니다. 전체 논문에서는 특징 공식, 선택 절차, 검색 공간 및 최종 하이퍼파라미터를 모두 보고하여, 유사한 구조를 가진 모든 실행 로그 데이터셋에서 파이프라인을 재구축할 수 있도록 할 것입니다.
다음으로 다룰 내용은 다음과 같습니다: 하드웨어별 기술자 및 다른 GPU 유형에서의 검증, 적은 관측치를 가진 구성을 위한 전이 학습(transfer learning), 기타 훈련 목표, 그리고 장기 실행에 대한 더 많은 데이터입니다.
전체 논문은 곧 arXiv에 공개될 예정입니다. Dharma-AI 조직을 Hugging Face에서 팔로우하여 발표 시 알림을 받고, 아래 댓글에 질문을 남겨주세요. 여러분의 클러스터에서 작업 지속 시간을 어떻게 추정하는지 듣고 싶습니다.
- GPU 관리: 유휴 GPU가 새로운 지상 항공기인 이유
- 동일 클러스터, 33포인트 더 높은 활용률: 바뀐 것은 순서였습니다
- SLM의 어휘 전문화가 실제 애플리케이션에서 추론 비용을 77% 절감하는 방법
- 규모보다 중요한 전문화: 대부분의 AI 조달 결정이 간과하는 전략적 변수
- 왜 전문화는 불가피한가
- 더 새로운 모델, 같은 이점
- 챗봇을 넘어선 직접 선호도 최적화(DPO)
- 텍스트 퇴행: 대부분의 벤치마크가 추적하지 않는 프로덕션 실패 모드
Dharma-AI R&D · AI를 여러분의 모델로 만듭니다