Vast.ai에서는 독립 호스트들이 자체 가격을 책정하며, 해당 사이트의 문서에 따르면 같은 가격대의 A100 두 개가 매우 다른 장비일 수 있습니다. 이 때문에 Vast.ai는 저렴한 GPU를 찾기 좋은 곳이지만, 긴 트레이닝 런(training runs)에는 별도의 복구 계획이 필요한 곳입니다. 체크포인트(checkpoint)를 새 장비에서 자동으로 복원하려면 Nodus를 선택하고, 고정된 가격을 원한다면 RunPod나 Lambda를, 대규모 클러스터가 필요하다면 CoreWeave 또는 Together AI를 고려하세요. 그리고 호스트를 직접 선택하고 런을 지켜보는 것을 선호한다면 Vast.ai 자체를 이용할 수 있습니다.
저희는 Nodus를 구축했으므로 이 목록을 참고하실 때 이를 염두에 두시기 바랍니다. 다른 회사에 대한 모든 사실은 해당 회사의 가격 페이지나 문서로 연결되며, 오늘날의 가격으로 재계산할 수 있도록 산술 계산 과정이 명시되어 있습니다.
Vast.ai는 트레이닝에 신뢰할 수 있나요?
이는 임대하는 장비에 따라 달라지며, Vast.ai는 이를 판단할 수 있는 데이터를 제공합니다. Vast.ai의 가격 개요(pricing overview)는 호스트들이 경쟁하는 마켓플레이스를 설명하며, 가격은 공급, 수요, 위치 및 호스트 신뢰도에 따라 달라집니다.
각 오퍼(offer)에는 신뢰도 점수가 표시됩니다. Vast.ai의 RunPod 이전 가이드(RunPod migration guide)는 이를 역사적 가동 시간(historical uptime)으로 정의하며, 프로덕션 작업에는 0.95 이상을 권장하거나 데이터센터급 호스트를 위한 Secure Cloud 필터를 사용하도록 제안합니다. 장비들은 또한 검증 페이지(verification page)에 따라 가동 시간, 하드웨어 및 네트워크에 대한 자동화된 검사를 통해 인증 상태를 얻습니다.
임대 유형은 호스트만큼 중요합니다. Vast.ai의 인스턴스 유형 페이지(instance types page)는 온디맨드 인스턴스(on-demand instances)와 예약 인스턴스(reserved instances)는 절대 중단되지 않는다고 명시합니다. 인터럽터블 인스턴스(interruptible instances)는 입찰(bids)로 실행되며, 더 높은 가격에 밀리면 일시 정지되고 데이터를 유지하며 우선순위가 돌아오면 동일한 장비에서 재개됩니다. 임대 유형 FAQ(rental types FAQ)는 일시 정지된 인스턴스가 오랜 시간 대기할 수 있으므로, 긴 작업에는 체크포인팅(checkpointing)을 구현하라고 알려줍니다.
두 가지 스토리지 세부 정보가 모든 복구 계획을 결정합니다. 볼륨(Volumes)은 물리적 머신에 종속되어 있어 다른 머신으로 옮길 수 없으며, 이는 스토리지 유형 페이지에서 확인할 수 있습니다. 따라서 죽은 호스트에서도 살아남아야 하는 체크포인트(checkpoint)는 클라우드 스토리지에 보관되어야 합니다. 크레딧 잔액이 0에 도달하면 인스턴스가 중지되며, 저장된 카드 정보가 없으면 인스턴스 가격 책정에 따라 삭제 일정이 잡힙니다.
따라서 정답은 '예'입니다. 신뢰할 수 있는(reliable) 또는 Secure Cloud 호스트로 필터링하고, 멈출 수 없는 실행에는 온디맨드(on-demand)를 사용하며, 체크포인트를 머신 외부로 복사해야 합니다.
마켓플레이스에서 장비가 손실되면 비용이 얼마나 들까요?
단 한 번의 회복되지 않은 실패는 플랫폼 간 가격 차이보다 더 많은 비용을 초래할 수 있습니다. 저희는 8 x NVIDIA H100 SXM으로 10시간 동안 실행하는 GPU 컴퓨팅만을 기준으로 이 예시를 계산했습니다.
Vast.ai가 제시한 중앙값인 시간당 $2.40 기준으로, 총 80 GPU-hours는 $192.00의 비용이 발생합니다. 반면, Nodus 가격 책정 페이지에 명시된 시간당 $2.60 기준으로는 동일한 실행에 $208.00가 소요되며, 이는 $16.00 더 많은 비용입니다.
만약 6시간째에 장비가 손실되었다고 가정해 봅시다. 만약 실행이 처음부터 재시작된다면, 시간당 $2.40 기준으로 6 x 8 = 48 GPU-hours, 즉 $115.20를 다시 지불해야 합니다. 하지만 30분마다 저장된 체크포인트를 복원한다면, 최대 손실은 0.5 x 8 = 4 GPU-hours, 즉 시간당 $2.60 기준으로 $10.40에 불과합니다. 이 경우 두 실행의 총비용은 각각 $307.20와 $218.40이 됩니다.
For 8 x H100 over 10 hours with one machine lost at hour 6, the run costs $192.00 at Vast.ai's median price plus $115.20 to redo 48 GPU-hours from zero, versus $208.00 on Nodus plus at most $10.40 for 4 GPU-hours lost since a 30-minute checkpoint.
처음부터 재시작하는 비용은 두 플랫폼 간의 $16.00 가격 차이보다 약 7배에 달합니다.
여기서 얻는 교훈은 이렇습니다. 만약 실행 시간이 충분히 길어 처음부터 한 번 재시작하는 것이 그럴듯하다면, 복구(recovery) 비용은 GPU-hour당 몇 센트 이상의 가치가 있다는 것입니다. 짧은 실험의 경우, 가장 저렴하고 신뢰할 수 있는 호스트를 선택하여 진행하는 것이 좋습니다.
Vast.ai와 대안들은 어떻게 비교되나요?
Vast.ai의 가격은 분 단위로 변동하므로, 해당 행을 스냅샷으로 읽고 나머지 항목들은 목록 가격으로 간주해야 합니다.
| Platform | How the price is set | H100 SXM per GPU-hour | If the machine is interrupted or lost | Best for | |
| --- | --- | --- | --- | --- |
| Vast.ai | Hosts set it; you pick an offer or bid | $1.73부터, 중앙값 $2.40 | 온디맨드(on-demand)는 절대 중단되지 않음; 동일 호스트에서 중단 및 일시 정지 후 재개 가능 | 가장 낮은 가격, 실습 사용자 |
| ... |
가격 확인일은 2026년 10월 25일입니다: Vast.ai pricing, Nodus pricing, RunPod pricing 및 Pods docs, Lambda pricing, Modal pricing 및 preemption docs, Together AI pricing 및 CoreWeave pricing. Modal의 초당 $0.001097은 시간 단위로 곱해지며, CoreWeave의 노드 가격($49.24 온디맨드, $19.71 스팟)은 8로 나뉩니다.
Listed H100 SXM prices per GPU-hour on October 25, 2026: Vast.ai lowest offer $1.73, Together AI preemptible $1.99, Vast.ai median $2.40, CoreWeave spot about $2.46, Nodus $2.60, RunPod Community Cloud $2.69, Modal $3.95, Lambda $3.99, RunPod Secure Cloud $3.99, Together AI on demand $3.99 and CoreWeave on demand $6.16.
Vast.ai의 중앙값은 Together AI의 선점형(preemptible) 티어를 제외하고는 나열된 모든 가격보다 낮습니다.
Vast.ai 대 RunPod: 어떤 것을 선택해야 할까요?
정확한 머신을 직접 선택하고 가장 낮은 가격을 추구하려면 Vast.ai를 선택하세요. 고정된 GPU 유형별 가격과 더 적은 결정을 원한다면 RunPod를 선택하세요.
Vast.ai 자체의 마이그레이션 가이드가 그 차이를 잘 보여줍니다. RunPod는 정해진 가격으로 엄선된 GPU 목록을 제시하는 반면, Vast.ai는 개별 호스트 머신과 해당 사양, 신뢰성 및 위치를 나열합니다. Vast.ai는 양방향 대역폭을 호스트가 설정한 요율로 GB당 청구합니다. RunPod의 Pods 가격 책정 문서에 따르면 데이터 인그레스(data ingress) 또는 이그레스(data egress)에 대한 수수료는 없습니다.
둘 다 컴퓨팅을 초 단위로 청구합니다. RunPod에서는 잔액이 $0에 도달하면 파드가 중지되며, 네트워크 볼륨이 없는 파드는 복구할 수 없는 데이터와 함께 종료됩니다. 대용량 데이터셋 이동이 비용의 큰 부분을 차지한다면, 시간당 요율을 비교하기 전에 대역폭을 비교하세요.
어떤 Vast.ai 대안이 당신의 작업에 적합할까요?
오늘 가장 불편한 것부터 시작해 보세요.
- 실행이 중단되고 누군가 수동으로 재시작해야 하는 경우: 새로운 머신에서 최신 체크포인트(checkpoint)를 복원하는 Nodus.
- 고정된 가격을 원하고 호스트 검색이 필요 없는 경우: RunPod Secure Cloud 또는 Lambda 인스턴스.
- 하나의 패브릭(fabric)에 8개 이상의 노드가 필요한 경우: CoreWeave, Together AI 또는 Lambda 1-클릭 클러스터.
- 자체 학습 루프(training loop) 대신 파인튜닝(fine-tuning) API를 원하는 경우: Together AI 파인튜닝.
- 작업이 웹 엔드포인트 옆의 짧은 Python 함수인 경우: Modal.
- 주로 몇 시간 동안 가장 저렴한 소비자용 GPU를 원하는 경우: Vast.ai에 머무르세요.
Nodus는 어떻게 학습 실행을 유지하나요?
Nodus는 모든 작업을 일련의 시도(attempts)로 실행하며, 각 새로운 시도는 사용자가 커밋한 최신 체크포인트에서 시작합니다. 시도 및 복구 문서에는 순서가 설명되어 있습니다: 회수 통지(reclaim notice)를 받으면, Nodus는 긴급 체크포인트를 요청하고 대체 머신을 준비한 다음, 이전 머신이 사라진 후에만 시작합니다.
하트비트를 보내지 않는 머신은 20초 후에 대체품이 준비되며, 공유 용량에 대한 시도는 60초간 침묵 후 손실로 간주됩니다. 체크포인팅(Checkpointed) 실행은 마지막으로 커밋된 체크포인트 이후의 작업만 손실됩니다. 사용자의 코드는 가중치(weights), 옵티마이저 상태(optimizer state), 그리고 스텝(step)을 /nodus/state에 기록하고 시작 시 다시 읽어옵니다. [체크포인트 가이드]에는 전체 예시가 있습니다.
Nodus는 크레딧이 소진될 때도 우아하게(gracefully) 중단됩니다. 체크포인팅된 작업(Job)은 긴급 체크포인트를 수행하고 일시 중지되었다가 자금이 확보되면 거기서 재개됩니다. 동일한 계정으로 파인튜닝(fine-tuning), 추론 엔드포인트(inference endpoints), 에이전트를 실행할 수 있으며, 코딩 에이전트가 이를 Nodus MCP 서버를 통해 구동할 수 있습니다.
Vast.ai는 여전히 어떤 경우에 더 나은 선택인가요?
Vast.ai는 가격 발견 및 선택의 폭에서 강점을 가집니다. 저희가 확인했을 때, Vast.ai의 가격 페이지는 H100 SXM을 시간당 $1.73부터 제공했는데, 이는 표에 있는 모든 고정 목록 가격보다 낮았으며 데이터센터 GPU와 함께 소비자 및 워크스테이션 카드도 나열하고 있습니다.
이 서비스는 통제(control)를 중요하게 생각하는 사람들에게 적합합니다. 임대하기 전에 각 머신의 신뢰성(reliability), 네트워크 속도, 위치를 확인할 수 있고, [가격 개요]에 따르면 선불로 최대 50% 할인된 온디맨드 인스턴스를 예약할 수 있으며, 코딩 에이전트가 인스턴스를 임대하고 관리할 수 있도록 에이전트 스킬을 제공합니다.
만약 실행 시간이 짧고, 이미 클라우드 스토리지에 체크포인팅되어 있으며, 이를 모니터링하는 경우라면, 절감액은 실질적이며 이동 과정이 그만한 가치가 없을 수 있습니다.
Vast.ai 학습 작업을 Nodus로 옮기려면 어떻게 해야 하나요?
체크포인트 쓰기를 /nodus/state로 지정한 다음, 기존 명령을 Nodus CLI를 통해 실행합니다. 먼저 설치하고 로그인하세요:
pip install nodus-compute
nodus login
그런 다음 작업을 건식 실행(dry-run)하여 예상치를 확인합니다. 아래의 모든 플래그는 nodus run CLI 참조에 문서화되어 있으며, torchrun 부분은 사용자의 자체 명령어입니다:
nodus run --name ft-h100 --gpu H100:8 --image nodus/pytorch
--checkpoint /nodus/state --continuity Checkpointed --interruptible
--max-cost 250 --dry-run -- torchrun --nproc_per_node 8 train.py
제출하려면 --dry-run을 제거하십시오. --max-cost 250 제한은 $208 추정치보다 높기 때문에, 장시간 실행되는 경우 이 제한에서 중단됩니다. 인터럽트 가능한(interruptible) 용량이 언제 유용한지 더 알아보려면 spot vs on-demand GPUs와 resuming training after spot preemption를 참조하십시오.
FAQ
Vast.ai가 Nodus보다 저렴한가요?
대부분의 경우, 중앙값(median) 수준입니다. 저희가 확인했을 때 Vast.ai의 H100 SXM 중앙값은 시간당 $2.40였고 Nodus는 $2.60였습니다. 또한 가장 저렴한 옵션들은 이보다 더 낮았습니다. 만약 실행이 처음부터 다시 시작해야 한다면 그 격차는 빠르게 좁혀집니다.
Vast.ai의 인터럽트 가능한 인스턴스는 입찰에서 밀려나면 다른 기기로 이동하나요?
아니요. Vast.ai 문서를 보면 데이터가 유지된 상태로 일시 중지(pauses)되며, 우선순위를 되찾으면 동일한 기기에서 재개된다고 합니다.
Vast.ai 계정을 Nodus에 연결할 수 있나요?
현재는 불가능합니다. 연결 가능한 계정은 클라우드 계정 문서에 나열되어 있으며, Vast.ai는 그 목록에 포함되어 있지 않습니다.
Vast.ai에서 어떤 신뢰도 점수(reliability score)로 필터링해야 하나요?
Vast.ai 자체 가이드라인에서는 프로덕션 작업의 경우 0.95 이상을 제안하며, 신뢰도가 매우 중요한 경우에는 Secure Cloud 필터를 사용하라고 합니다.
Nodus를 사용하기 위해 학습 코드를 변경해야 하나요?
상태(state)를 저장하고 불러오는 부분만 그렇습니다. /nodus/state에 쓰기(Write)를 하고 시작할 때 거기에 있는 것을 불러오십시오. Nodus는 파일을 복원하며, 프로세스 메모리(process memory)를 절대 복원하지 않고 재개 플래그(resume flags)도 명령에 추가하지 않습니다.
Originally published on the Nodus blog.
