이 시리즈의 두 번째 게시물(fine-tuning was the easy part what shipping asr for a low-resource language taught me)에서 저는 클라우드 GPU를 임대하고 수학적 계산 없이 돈을 태운 경험에 대해 작성하겠다고 약속했습니다. 세 번째 게시물(my tts read a whole novel the model was the most reliable part of the pipeline)에서는 그 약속이 여전히 유효하다고 말했습니다. 여기 그것이 있습니다.
먼저 배경 지식을 설명하겠습니다. 저는 저자원 언어인 크림타타르어(Crimean Tatar)를 위한 음성 및 언어 모델을 구축하고 있습니다(why, 그리고 데이터가 어디서 왔는지). ASR(자동 음성 인식)과 TTS(텍스트 음성 변환)는 집에서 사용하는 24 GB 카드를 이용해 파인튜닝(fine-tuning)합니다. 언어 모델의 전체 파인튜닝에는 141 GB 이상이 필요하므로, 이 부분은 임대된 장비에서 실행됩니다. 이는 마치 자동차를 빌리는 것과 같습니다. 운전하든 아니면 보닛을 열고 길가에 세워두든 사용한 시간만큼 비용을 지불하는 방식입니다.
약 한 달 반 동안 총 300달러가 조금 넘는 돈이 들었습니다. 이것은 단 하나의 재앙적인 사건이 아니라, 레시피가 작동할 때까지 다양한 구성을 시도했던 일련의 반복 과정이었습니다. 아래에 언급된 모든 실수는 실제 작업에서는 정상적인 것이며, 저는 다음 사람과 저 자신을 위해 더 저렴하게 만들기 위해 이를 기록하고 있습니다.
저는 기본 모델(base models), 파인튜닝 기법(fine-tuning techniques), 체크포인트(checkpoints) 또는 데이터 소스의 이름은 밝히지 않습니다. GPU 클래스, 공급업체 및 시간당 가격 정보는 포함했습니다. 왜냐하면 이러한 정보 없이는 비용에 관한 게시물은 쓸모가 없기 때문입니다.
What one training run cost, from the first attempt to the latest cycles
첫 번째 실행, 수치로 보기
첫 번째 임대는 H200 (141GB)을 약 시간당 $4.60에 사용했으며, 추정치로는 911시간에 걸쳐 $33$40이 예상되었습니다. 저는 11.5시간, $53 지점에서 중단했는데, 이는 스테이지 2의 15% 분량이었고 아직 약 46시간이 남아 있었습니다. 이 시간 동안의 실질적인 GPU 효율(yield)은 대략 3~4%에 불과했습니다. 여기에는 세 가지 독립적인 원인이 있었으며, 그 중 어느 하나만으로도 예산을 초과했을 것입니다.
교훈 1: 콘텐츠가 아닌 패딩된 토큰을 기준으로 비용을 추정하라
가장 큰 원인은 패딩이었습니다. 저희의 SFT(Supervised Fine-Tuning) 대화는 짧아서 중앙값은 약 20 토큰이었지만, 모든 예시는 seq_len = 1024로 패딩되었습니다. 어텐션 마스크(attention mask)와 손실 마스크(loss mask) 덕분에 결과 자체에는 패딩이 무해하지만, 청구서에는 그렇지 않습니다. 행렬 곱셈(matmuls)은 여전히 전체 시퀀스에 걸쳐 실행되며, 계산된 내용의 대부분은 버려집니다. 이는 사과 하나를 통째 상자에 담아 상자 비용을 지불하는 것과 같습니다. 추정치는 콘텐츠 59M 토큰을 기반으로 했지만, GPU는 1.17B 포지션을 처리했습니다. 이것이 바로 20배의 오차입니다.
문제가 되는 것은 계획 자체가 약 1.2배의 패딩 오버헤드를 가정하고 있었는데, 아무도 이를 테스트하지 않았다는 점입니다. 테스트는 단 몇 분이면 됩니다:
# what share of the compute you pay for is real tokens?
lengths = [len(tok(x).input_ids) for x in sample] # a few thousand rows
useful = sum(lengths)
...
비용을 결정하는 수치는 "코퍼스 크기 × 에포크"가 아니라, 처리된 steps × micro_batch × seq_len 포지션을 실제 처리량으로 나눈 후 시간당 가격을 곱한 값입니다. 만약 중앙값 예시가 seq_len보다 50배 짧다면, 어떤 커널 최적화(kernel optimisation)도 당신을 구원할 수 없습니다. 카드는 영점(zero)들을 곱하고 있고, 당신은 시간 단위로 비용을 지불하고 있습니다.
해결책은 패킹(packing)이었습니다. 우리는 짧은 대화들을 밀집된 블록으로 하나씩 묶기 시작했으며, 이때 블록-대각선 어텐션 마스크(block-diagonal attention mask)를 사용하여 인접한 패킹된 예시들이 서로 볼 수 없도록 했습니다. 여기서 주의할 점이 하나 있습니다. 일부 빠른 어텐션 경로(fast attention paths)는 사용자 정의 4D 마스크를 무시하는 경우가 있어, 패킹된 예시들이 서로 새어 나갈(leak into each other) 수 있다는 것입니다. 우리는 패킹된 블록 내부의 각 대화의 로짓(logits)이 단독으로 계산한 로짓과 일치하는지 확인했습니다. 이것을 적용하자 유효 공유율(useful share)이 5%에서 99%로 증가했으며, 이전 방식으로는 $331~$413가 들었을 스테이지 2는 $14~$17에 불과했습니다.
The price of padding: the same training stage with and without filler
왼쪽 막대는 추정치임을 분명히 밝힙니다. 저희는 알아내기 위해 이전 방식으로 전체 실행을 완료하지 않았습니다.
교훈 2: 네트워크 디스크가 아닌, 벽시계(wall-clock) 단위로 체크포인트를 저장하라
두 번째 원인은 체크포인팅이었습니다. 우리는 매 400 스텝마다 전체 46 GB 크기의 체크포인트를 네트워크 볼륨에 저장했고, 이 과정 동안 트레이닝 블록을 실행했기 때문에 카드는 단순히 디스크가 기록되기를 기다리며 대기했습니다. 전체 실행 동안 약 600 GB가 기록되었으며, 패딩(padding) 계산량을 제외하고도 GPU는 58%에서 68% 사이의 점유율로 머물렀습니다.
체크포인트는 필요합니다. 그렇지 않으면 충돌 시 모든 것을 처음부터 다시 시작해야 하기 때문입니다. 하지만 빈도는 습관적으로 정한 스텝 카운트가 아니라, 한 시간의 비용과 그 시간을 잃을 확률을 저울질하여 '작업 시간(hours of work)' 단위로 설정해야 합니다. 46 GB 체크포인트는 400 스텝마다가 아니라 몇 천 스텝마다 의미가 있으며, 영구 저장소(persistent storage)로 복사하는 작업은 나중에 진행할 수 있도록 로컬 디스크에 저장되어야 합니다.
교훈 3: 카드에게 먹이를 주어라
세 번째 원인은 가장 간단했습니다. 두 개의 데이터 로더 워커(data loader workers)가 128코어 머신에서 배치(batch)를 준비하고 있었는데, 예시가 짧다 보니 GPU가 로더가 다음 배치를 준비하는 것보다 더 빨리 배치를 완료했습니다. 빠른 카드와 느린 주방 같은 상황이었습니다. 그 이후로 저희의 경험 법칙은 워커 수를 vCPU의 약 4분의 1 정도로 설정하고, 처음 10분 동안의 GPU 활용률(GPU utilisation)을 확인하는 것입니다. 만약 이 수치가 거의 최대치에 미달한다면 무언가 잘못된 것이며, 중단 비용이 계속 진행하는 비용보다 적습니다.
교훈 4: “작동함”과 “스스로 비용을 회수함(pays for itself)”은 다른 테스트입니다
좌절스러운 부분은 임대하기 전에 전체 파이프라인이 집에서 스모크 테스트(smoke test)를 통과했다는 것입니다. 그 테스트는 코드가 정확하다는 것을 증명했습니다. 하지만 처리량(throughput)에 대해서는 아무것도 말해주지 못했는데, 왜냐하면 집에서는 시간이 공짜이고 아무도 그것을 확인하지 않기 때문입니다. 저희는 정확성 테스트만 실행하고 경제성 테스트는 건너뛰었습니다. 첫 번째 학습 단계가 시작되기 전에 설정 함정(setup traps) 때문에 약 45분과 3달러를 잃기도 했는데, 이는 적은 금액이지만 모든 것이 계산됩니다.
모든 것을 잃은 것은 아니었습니다. 스테이지 1(Stage 1)은 완료되었고, 그 가중치(weights)는 저장되었습니다.
교훈 5: 조각이 아닌 전체 체인(chain)을 연습하세요
패킹(packing) 설정을 마친 후 두 번째 시도를 시작했고, 9월 1일과 2일에 걸쳐 다섯 대의 머신을 연속으로 거쳤습니다. 모두 완료되기 전에 다운되었습니다.
그중 한 대는 95단계 중 50단계에서 충돌했는데, 새로운 변경 사항이 약 160GB가 필요한 평가(evaluation)를 활성화했고, 이는 141GB 카드로는 부족했습니다. 첫 번째 실행에서는 그 평가가 발동할 시간이 없었기 때문에 아무도 이 문제를 발견하지 못했습니다. 또 다른 한 대는 스테이지 종료 4분 전인 95단계 중 80단계에서 저희 자체 워치독(watchdog)에 의해 강제 종료되었습니다. 이는 이전 시도가 볼륨에 남긴 오래된 “실패한 실행” 마커를 발견하고 이를 믿었기 때문입니다. 다섯 번째는 스테이지 2의 65%까지 도달하여 4.35시간 동안 19.96달러가 사용되었고 충돌했습니다. 이 부분은 아래에서 다시 다루겠습니다.
이러한 실패들을 종합적으로 살펴보면서, 저는 패턴을 발견했습니다. 학습 루프 자체는 단 한 번도 충돌하지 않았습니다. 충돌했던 것은 주변의 모든 것이었습니다: 실행 스크립트(launch scripts), 체크(checks), 워치독입니다. 각 조각은 개별적으로 테스트되었지만, 전체 체인으로 끝까지 실행된 적은 없었던 것입니다.
이제 모든 임대 과정은 집에서 전체 리허설을 거치게 되었습니다. 동일한 체인, 동일한 워치독(watchdogs), 그리고 동일한 스테이지 핸드오버를 사용하지만, 모델 크기는 작고 비용은 무료입니다. 한 번의 리허설은 4.7시간이 걸렸으며 6개의 결함을 포착했습니다. 가장 심각했던 것은 그래디언트 누적(gradient accumulation) 과정에서의 문제였습니다. 모델 래퍼(model wrapper)가 이를 처리하는 방식 때문에 스테이지 1의 유효 학습률(effective learning rate)이 설정된 값보다 16배나 높았고, 그래디언트 클리핑(gradient clipping)이 이를 숨겨서 손실(loss) 값이 정상처럼 보이게 만들었습니다. 만약 클라우드에서 이 문제를 발견했다면 우리는 그 여섯 건 각각에 대해 비용을 지불했을 것입니다.
또한 오래된 마커(stale marker)는 영구 볼륨(persistent volumes)에서의 상태 불일치(stale state)라는 일련의 버그를 가리켰습니다. 측면 벤치마크(side benchmark)에서 스크립트는 디스크에 있는 이전 결과 파일을 보고 이미 새로운 파일을 다운로드했다고 판단하여, 실제 결과와 함께 기계를 파괴해버렸습니다. 그 이후로 실행 상태를 나타내는 모든 것은 특정 실행 ID(run ID)에 연결되도록 처리했습니다.
교훈 6: 기계를 파괴하지 말고 제자리에서 수정하라
그 이틀 동안 가장 비쌌던 것은 버그가 아니었습니다. 그것은 습관이었습니다. 오류가 발생할 때마다 우리는 같은 일을 했습니다. 기계를 파괴하고, 코드를 수정하고, 깨끗한 새 기계에서 다시 시작하는 것이었습니다. 새 기계는 환경을 재설치하고 미터기가 돌아가는 동안 수십 기가바이트에 달하는 가중치(weights)를 다시 다운로드합니다. 그리고 기계가 사라지면 로그도 함께 사라지기 때문에, 근본 원인은 추측이 되고 때로는 그것을 재현하기 위해서 또 다른 기계에 비용을 지불해야 합니다.
우리는 그날 같은 규칙을 세웠습니다: 파괴하지 말고, 제자리에서 수정하고, 동일한 기계에서 프로세스를 다시 시작하라. 타이어가 펑크 난 것을 생각해 보세요. 길가에서 패치합니다. 자전거를 버리지 않습니다. 불행하게도 이 규칙은 코드로 전달되는 데 한 시간이나 늦었습니다. 다섯 번째 기계가 충돌했을 때, 구조 스크립트의 첫 번째 행동은 종료 전 일시 정지(pre-shutdown pause)를 해제하는 것이었고, 그것이 의존하던 복사 도구(copy tool)는 이미지에 설치되어 있지 않았습니다. 로그를 포함하여 기계는 몇 분 안에 사라졌고, 저는 여전히 왜 충돌했는지 모릅니다.
규칙을 적용한 후 빠르게 효과를 보았습니다. 다음 학습은 두 단계를 한 번에 진행하여 전체 작업 비용이 약 $41이었는데, 처음에는 2단계의 15%만 진행해도 $53이었습니다. 그 다음 실행은 이 규칙의 첫 번째 실질적인 테스트였습니다. 짧은 온-머신(on-machine) 테스트에서 $1.50으로 결함 3개를 발견했고, 이를 현장에서 수정하여 전체 작업 시간이 2.81시간에 비용은 $12.91로, 크래시 없이 완료되었습니다.
교훈 7: 당신의 감시견(watchdog)은 양방향으로 실패한다
감시견은 학습을 모니터링하고, 결과를 복구하며, 장치를 종료하는 별도의 프로그램입니다. 이 감시견이 저지른 실수 대부분은 비용을 발생시켰고, 오류를 양방향으로 범했습니다.
9월 6일에는 너무 조용했습니다. B300에서 실행한 작업이 완료되었지만 감시견은 알아차리지 못했습니다. 그날 이미 두 번이나 조용히 고장났기 때문입니다. 장치는 제가 수동으로 확인하기 전까지 30~40분 동안 시간당 $7.89의 비용을 발생시키며 완성된 결과와 함께 대기했습니다. 그때 이후로 우리는 모든 실행 전에 감시견을 '실전 훈련(fire-drill)'하여 의도적으로 이벤트를 트리거하고 알림이 도착하는지 확인하며, 실행 막바지에 장치를 수동으로 확인합니다. 같은 에피소드는 "실행 완료"가 "결과 안전"을 의미하지 않는다는 것을 가르쳐 주었습니다. 결과는 다운로드되고 검증될 때 비로소 안전합니다.
9월 24일에는 너무 엄격했습니다. 감시견은 GPU 사용률(GPU utilisation)을 5분마다 샘플링했고, 마지막 수치는 94, 0, 100, 0이었습니다. 여기서 0은 카드가 디스크에서 합법적으로 대기할 때 발생하는 체크포인트 저장 시점과 일치했습니다. 평균값은 임계값인 50% 대비 48%였으므로, 학습 종료 28초 전에 체크포인트를 저장하며 장치를 파괴했습니다. 가중치(weights)는 모두 살아남았지만 (총 51.6 GB), 체크포인트의 메타데이터 파일은 0바이트였고 우리는 이를 복구하기 위해 별도의 장치를 구동해야 했습니다. 결함은 로직 자체에 있었습니다: GPU 사용률만으로는 정지 상태(hang)인지 저장(save)인지를 구분할 수 없지만, 단계 카운터(step counter)는 할 수 있습니다. 이제 확인 절차는 대략 다음과 같습니다:
# a hang is an idle card AND no progress, not just an idle card
hung = gpu_util_avg < 0.5 and step_now == step_at_last_check
카드는 저장하거나 완료하는 동안 휴식을 취할 수 있습니다. 실제 중단(hang)은 단계가 멈출 때 발생합니다.
이는 감시견(watchdog)이 어디에 위치해야 하는가라는 질문을 남겼습니다. 임대된 기계에서 실행되는 것은 그 기계와 함께 사라지며, 바로 그때가 가장 필요할 때입니다. 저희의 시스템은 이제 집에서 실행되어 외부에서 기계와 통신합니다.
교훈 8: 하드 달러 상한선(hard dollar cap)이 건강한 실행을 망칠 수 있다
돈도 같은 문제를 가지고 있었습니다. 첫 번째 규칙은 간단했습니다: 상한선에 도달하면, 구조를 시도하고, 파괴됩니다. 9월 2일, $36 상한선을 가진 감시견은 1,875단계 중 10단계에서 추정(extrapolated)하여 실행 비용이 $35~$38에 달할 것이라고 예측하고 완벽하게 정상적인 작업을 구조하기 시작했습니다. 저희는 제때 이를 막았지만, 교훈은 명확했습니다. 10단계에서의 추정치는 실제 처리량(real throughput)에 대해 거의 알지 못하며, 나중에 작동하는 하드 상한선은 거의 완료된 실행을 망칠 수 있고, 이미 지불한 모든 것을 가지고 갑니다. 이제는 한계에 가까워지면 시스템이 모든 것을 먼저 저장하고 그 후에만 종료됩니다.
교훈 9: 가격 목록(price list)은 가용성(availability)을 의미하지 않는다
더 간단한 실수는 가격 목록을 신뢰하는 것이었습니다. 저희가 가격 뒤에 숨겨진 것을 확인하기 시작했을 때 발견한 내용입니다: