클라우드 GPU (Cloud GPU) 가격 책정은 새벽 1시 17분에 항공권을 예약할 때와 정확히 똑같은 감정적 질감을 가지고 있습니다. 한 제공업체를 엽니다. 그다음 다른 곳을 엽니다. 그다음 마켓플레이스(Marketplace)를 엽니다. 그다음 관리형 클라우드(Managed cloud)를 엽니다. 그러다 보면 16개의 각주가 달려 있고, 지역 선택기(Region selector)가 개인적으로 당신의 적이 되기로 결심한 것 같은 가격 페이지를 마주하게 됩니다. 어느 시점에 이르면 당신은 무엇을 실행하려고 했는지조차 잊어버립니다. 그래서 저는 gpu.fund (https://gpu.fund)를 만들었습니다. 이것은 클라우드 GPU 대여를 위한 간단한 비교 사이트입니다. 로그인도 필요 없고, 복잡한 조달 절차(Procurement ceremony)도 없습니다. 오직 가격, 필터, 제공업체 링크, 그리고 현재 GPU 대여 시장에 대한 보고서 페이지만 있습니다.

현재 추적 중인 내용
현재 런칭 스냅샷에는 12개 제공업체에 걸쳐 146개의 클라우드 GPU 가격이 포함되어 있습니다. 최근 크롤링(Crawl) 결과의 몇 가지 예시는 다음과 같습니다:

• Vast.ai의 RTX 3090: 시간당 $0.11부터
• Vast.ai의 RTX 4090: 시간당 $0.34부터
• Vast.ai의 RTX 5090: 시간당 $0.74부터
• Vast.ai의 A100: 시간당 $0.70부터
• Together.ai의 H100: 시간당 $2.00부터
• RunPod의 MI300X: 시간당 $1.99부터

이러한 가격 차이가 바로 이 서비스가 존재하는 이유입니다. 동일한 범주의 워크로드(Workload)라 할지라도, 어디를 먼저 보느냐에 따라 꽤 합리적일 수도 있고 시드 라운드(Seed-round) 바비큐 비용만큼 비쌀 수도 있습니다.

지루하지만 유용한 교훈
많은 추론(Inference) 및 실험 작업의 경우, 가장 저렴한 답은 "가장 화려한 GPU를 대여하는 것"이 아닙니다. 보통 다음과 같습니다:

• RTX 3090은 저렴한 실험용으로 여전히 이상할 정도로 생존력이 좋습니다.
• VRAM(Video RAM) 용량이 맞다면 RTX 4090 및 RTX 5090 대여가 종종 실용적인 경로가 됩니다.
• A100은 순수한 성능 과시보다 80GB VRAM이 더 중요할 때 의미가 있습니다.
• H100은 훌륭하지만, 많은 사람이 식료품점에 가기 위해 레이싱 카를 사고 있는 격입니다.
• MI300X는 소프트웨어 스택(Software stack)이 협조적일 때 흥미롭습니다.

진정한 적은 단순히 가격만이 아닙니다. 그것은 비교의 마찰(Comparison friction)입니다. 시간당 가격은 첫 번째 레이어일 뿐입니다. 스토리지(Storage), 대역폭(Bandwidth), 중단 가능한 조건(Interruptible terms), 지역(Regions), 가용성(Availability), 멀티 GPU 번들(Multi-GPU bundles), 그리고 이상한 최소 주문 단위 등이 모두 실제 청구 금액을 바꿀 수 있습니다. 목표는 GPU 가격 책정이 단순한 척하는 것이 아닙니다. 목표는 첫 단계를 덜 비참하게 만드는 것입니다.

제가 피드백을 받고 싶은 부분은 다음과 같습니다. 저는 추론 (inference), 미세 조정 (fine-tuning), 학습 실행 (training runs), 스크래핑 작업 (scraping jobs), 그리고 월요일의 골칫덩이가 되어버리는 주말 실험 (weekend experiments)을 위해 실제로 GPU를 대여하는 분들로부터 유용한 불만 사항을 찾고 있습니다. 가장 유용한 피드백은 다음과 같습니다: 누락된 제공업체 (providers), 필터에 존재해야 할 잘못된 GPU 정규화 (normalization) 필드, 표면화할 가치가 있는 스토리지 및 대역폭 (bandwidth) 비용, 중단 가능한 (interruptible) 가격 책정의 특이점, 멀티 GPU 번들 (multi-GPU bundle) 가격 책정, 중요한 지역 (region) 또는 가용성 (availability) 신호, 그리고 보고서 페이지가 여러분이 실제로 가진 질문에 답을 하는지 여부입니다. 사이트 주소는 여기 있습니다: https://gpu.fund 이며, 실시간 시장 보고서 (live market report)는 여기 있습니다: https://gpu.fund/report. 만약 이 사이트가 단 한 명이라도 12개의 가격 탭을 열고 허공을 향해 “컴퓨팅 단위 (compute unit)가 대체 뭐야?”라고 속삭이는 상황을 막을 수 있다면, 이 고양이는 제 역할을 다한 것입니다.