저렴한 H100 을 찾았다고 생각했다. 틀렸다.

요약

사용자들은 GPU 공급자를 단순히 '시간당 가격'만으로 비교하여 저렴한 옵션을 선택하는 경향이 있지만, 실제 클라우드 환경에서는 이 기준이 가장 중요하지 않습니다. 진정한 비용 효율성은 비활성 시간(GPU 활용률), 데이터 이동 비용, 작업 실패 및 재시도에 따른 추가 비용, 그리고 운영 오버헤드를 종합적으로 고려해야 합니다. 따라서 단순히 $/시간 대신 '훈련 작업당 비용', '추론당 비용' 등 실제 워크로드 단위로 비용을 측정하고, GPU의 실제 활용도를 파악하는 것이 훨씬 더 정확한 비용 분석 방법입니다.

핵심 포인트

• GPU 공급자 비교 시 시간당 가격($/시간)에만 의존해서는 안 된다.
• 실제 비용은 비활성 GPU 시간(낮은 활용률)에서 발생하는 누적 손실을 고려해야 한다.
• 데이터셋 전송, 체크포인트 동기화 등 데이터 이동 비용이 컴퓨팅 비용과 맞먹거나 초과할 수 있다.
• 작업 실패 및 재시도 횟수가 잦은 저렴한 인프라는 오히려 총비용을 증가시킨다.
• 가장 정확한 비용 분석은 $/시간 대신 '완료된 작업당 비용' 또는 '훈련/추론 작업당 비용'으로 접근해야 한다.