저렴한 H100 을 찾았다고 생각했다. 틀렸다.

H100 의 훌륭한 거래를 발견했다고 생각했다. ~$2.50/시간. 다른 곳에서 본 것보다 훨씬 저렴했다. 종이상으로는 무난해 보였다. 그렇지 않았다. 내가 한 실수 대부분의 사람과 마찬가지로, GPU 공급자를 다음 기준에 따라 비교했다: 시간당 가격 이것이 모든 가격 페이지의 구조다. 따라서 우리는 자연스럽게 그렇게 평가한다. 하지만 실제 워크로드를 실행한 후에는 분명히 드러났다: 시간당 가격은 가장 중요한 숫자 중 하나이다. 실제로 중요한 것은: 유용한 컴퓨팅 비용 훈련 작업. 추론 처리량. 완료된 작업. 이렇게 보게 되면, 상황이 빠르게 변한다. 추가 비용이 발생하는 곳 여기에서 본 가장 큰 것들: 1. 비활성 GPU (이는 빠르게 누적된다) GPU 는 거의 완전히 활용되지 않는다. 작업은 데이터 파이프라인에 대기하며, 과잉 공급을 '만약에' 위해 한다. GPU 가 시간당 30–40% 의 시간을 비활성으로 앉아 있다면, 당신의 "저렴한" 인스턴스는 더 이상 저렴하지 않다. 2. 데이터 이동 (사람들이 예상하는 것보다 훨씬 큼) 작은 규모에서는 컴퓨팅이 우세하다. 큰 규모에서는: 데이터셋 전송 체크포인트 동기화跨区域 트래픽 이러한 비용은 조용히 쌓인다. 일부 설정에서는 컴퓨팅 비용과 대등하거나 심지어 초과할 수 있다. 3. 재시도 + 중단 것들은 실패한다. spot 인스턴스가 반환되며 작업이 충돌하고 파이프라인이 재시작된다. 각 재시도는: 진행을 낭비하며, 런타임은 연장되고 총 비용은 증가한다. 실패가 더 빈번한 저렴한 인프라 = 비싼 인프라. 4. 운영 오버헤드 이것은 덜 눈에 띄지만 실제이다: 인프라 디버깅, 클러스터 관리, 배포 문제 해결에 소요되는 시간. 약간 더 높은 가격을 제시하는 "바로 작동" 공급자는 전체적으로 더 저렴할 수 있다. 이것이 계속 발생하는 이유 시간당 가격은 단순하다. 비교하기 쉽다. 그리고 정밀해 보인다. 하지만 실제로 비용 구동 변수의 대부분을 숨긴다. 더 나은 사고 방식 $/시간 대신 다음으로 생각하기 시작했다: 훈련 작업당 비용 100 만 추론당 비용 완료된 작업당 비용 그리고 질문한다: GPU 는 실제로 얼마나 활용되었는가? 작업이 얼마나 자주 실패하는가? 얼마나 많은 데이터가 이동하고 있는가? 결론 종이상에서 가장 저렴한 GPU 는 실제에서는 종종 가장 저렴하지 않다. 그리고 설정에 따라 차이는 2 배로 쉽게 될 수 있다. 저는 다른 공급자 간의 실제 GPU/클라우드 비용을 비교하는 도구를 구축하며 이것을 파고들고 있다. 다른 사람들이 어떻게 생각하는지 궁금하다. 당신은 여전히 시간당 가격으로 공급자를 비교하고 있거나, 전체 워크로드 비용으로 보고 있는가?