H200은 SXM H100과 동일한 수준의 계산 능력(compute)을 가지며 일반적으로 더 높은 비용으로 임대되므로, FLOPS 스프레드시트 상에서는 결코 이점을 갖지 못합니다. 따라서 '토큰당 비용 (cost per token)' 문제는 다른 열에서 판가름 납니다. H200은 메모리 외부로 4.8 TB/s를 이동시키는 반면, H100은 3.35 TB/s를 이동시키며, 디코딩(decode) 과정은 메모리를 기다리는 시간이 많습니다. 또한 메모리가 업계의 부족한 부분이기도 합니다: TechCrunch에 따르면 삼성은 2분기 실적 발표에서 이러한 부족 현상이 2027년에 악화되고 최소 2028년까지 빠듯할 것이라고 말했습니다.
그래서 저희는 GPU 표를 사용하여 2026-10-30 날짜로 이 열의 비용을 책정했습니다.
디코딩은 대규모 배치에서도 메모리를 기다린다
FlashAttention 논문에서는 산술 강도(arithmetic intensity)를 접촉하는 메모리 바이트당 산술 연산 횟수로 정의하며, 대부분의 Transformer 연산이 메모리 접근에 의해 제한된다고 말합니다. GPU의 밀집 FLOPS를 대역폭으로 나누면 공급할 수 있는 강도를 알 수 있습니다: FP8 기준으로 SXM H100은 바이트당 약 591 연산, H200은 412 연산, B200은 562 연산을 보여줍니다. 이 수치보다 훨씬 낮은 부하를 가진 작업은 대역폭 부족을 먼저 겪게 됩니다.
Barcelona Supercomputing Center와 IBM의 연구원들은 vLLM을 H100에 사용하여 디코딩이 어디에 위치하는지 측정했습니다. 어텐션 커널(Attention kernels)은 배치 크기 1부터 최대치까지 약 0.5에서 1 연산/바이트 사이에 머물렀습니다. OPT-1.3B의 배치 512에서는 메모리 트래픽이 1.63 TB/s의 상한선 중 약 1.51 TB/s에 도달했지만, 계산 능력(compute)은 논문 자체의 계산 능력 수치 근처인 4% 수준에 머물렀습니다. 이 수치(초당 25.6조 부동 소수점 연산)는 NVIDIA의 FP8 수치보다 훨씬 낮으며, 디코딩 과정은 둘 다보다 낮은 수준에 있습니다. OPT와 Llama 2 모델을 대상으로 한 테스트에서 대규모 배치는 디코딩 과정을 계산 능력 제한 영역으로 이동시키지 못했습니다.
그로부터 도출되는 표
동일한 제공업체, 동일한 날짜 기준 SXM H100 대 H200 (Vast, Lambda 및 Baseten은 H200을 목록에 포함하지 않아 제외됨):
| Provider | H100 $/h | H200 $/h | H100 $/TB/s-h | H200 $/TB/s-h | B200 $/TB/s-h |
|---|
| Fireworks | 8.00 | 8.00 | 2.39 | 1.67 | 1.62 |
| ... | | | | | |
손익분기점은 각각 4.8 / 3.35이며, 따라서 H200이 비용이 H100의 1.43배 미만일 때는 TB/s 기준으로 우위를 점합니다. Together AI는 1.50배로, 이 목록 중 유일하게 패배하는 제공업체입니다. B200은 모든 7곳에서 승리하며, 각 항목에서 가장 저렴한 행을 차지합니다.
저렴해 보이는 행은 함정입니다. RunPod의 PCIe H100이 2.89달러로 표시되어 있지만, NVIDIA의 제품 설명서에 따르면 해당 카드의 최대 성능은 2,000 GB/s이므로 시간당 TB/s당 1.45달러를 지불하게 됩니다. 이는 RunPod의 SXM H100, H200 또는 B200보다 비싼 가격입니다.
하나의 모델의 경우, 토큰당 70GB의 가중치(weights)를 읽는 것이 H100을 47.9 tokens/s로, H200을 68.6 tokens/s로 제한합니다. RunPod 가격 기준으로 이 한계치는 H100에서 백만 토큰당 23.16달러, H200에서 21.43달러가 됩니다. 이는 단일 스트림에 대한 배치-1(batch-1) 한계치이므로, 실제 스트림은 두 카드 모두에서 이 속도보다 낮게 나옵니다. 배칭(Batching)은 합계를 바꿉니다: 가중치에 대한 한 번의 통과가 여러 스트림에 서비스를 제공하므로, 배치당 토큰 비용은 이 가격보다 훨씬 낮을 수 있으며, 이 계산으로는 어느 카드에서 얼마나 낮은지 알려주지 않습니다.
전체 계산은 다음과 같습니다. 사용자의 견적 및 가중치를 입력하세요:
"""Rank GPUs for memory-bound decode by dollars per TB/s-hour."""
SPECS = { # peak memory TB/s and dense FP8 TFLOPS (half NVIDIA's sparse figure)
"H100 PCIe": (2.0, None),
...
이 순위가 더 이상 사실이 아닌 경우
프리필(Prefill)이 다른 경우입니다. Philip Kiely의 저서 _Inference Engineering_에 따르면 이는 먼저 FLOPS가 고갈되는 경향이 있으며, 저희는 이를 측정하지 않았습니다. 만약 이것이 트래픽이라면, H200은 SXM H100보다 추가적인 FLOPS를 제공하지 않습니다.
메모리 크기는 표에 없습니다. H100은 80GB, H200은 141GB, B200은 KV 캐시(KV cache)를 제외하고도 각각 180GB의 용량을 가집니다. 만약 모델이 들어가지 않는다면, 정직한 비교는 더 저렴한 두 개의 카드와 더 큰 하나의 카드를 비교하는 것이며, TB/s당 수치만으로는 이를 해결할 수 없습니다.
피크 대역폭(Peak bandwidth)은 지속 대역폭(sustained bandwidth)이 아닙니다. NVIDIA가 제시한 수치는 최대치입니다 ("B200의 경우 최대 8TB/s"). 해당 논문에서 제시된 카드 메모리 한계는 1.63 TB/s로, SXM 수치의 절반도 안 됩니다. 다만, 이 수치가 특이한 64 GB H100을 설명하는 것이므로 이를 할인율로 간주해서는 안 됩니다.
더 많은 대역폭이 비례적으로 더 많은 토큰(tokens)을 보장하지는 않습니다. 해당 논문은 OPT-1.3B 모델에서 배치(batch) 512일 때 디코드(decode) 과정의 CPU 시간이 최대 30%에 달하는 것을 발견했으며, 메모리 버스가 빨라진다고 해서 이 비율이 줄어들지는 않습니다.
DeepInfra와 Fireworks는 H100을 80 GB로만 명시했기 때문에 저희는 SXM으로 가정했습니다. 만약 둘 중 하나라도 PCIe 카드라면 H200이 더 크게 우위를 점하므로, 기존의 개수는 유지됩니다.
저희는 이 GPU들로 아무것도 실행하지 않았습니다. 토큰/초(tokens-per-second) 수치는 공개된 사양을 기반으로 한 상한선입니다. 할인율도 표의 순서를 바꿉니다. 예를 들어, Together AI의 91일에서 180일까지 예약된 요금($3.19 및 $3.99) 기준으로 H200은 H100보다 1.25배 비싸지만 승리하며, 다만 그 프리엠티블(preemptible) 요율은 여전히 1.50배입니다. 이러한 요율 중 일부는 CoreWeave의 8-GPU 인스턴스나 DeepInfra의 전용 배포와 같이 대량으로만 제공되거나 관리형 서비스로 제공되므로, 공급자 간에 비교하지 말고 한 행(row) 내에서 비교해야 합니다.
오늘 해보세요
GPU의 시간당 가격을 피크 대역폭으로 나누고, 같은 공급자의 다음 등급 카드에 대해서도 동일하게 계산해 보세요. 그 숫자가 더 낮고 트래픽이 주로 디코드(decode)라면, 갱신하기 전에 두 모델 모두에서 자체적으로 벤치마킹을 수행하세요.
저희는 또한 프리필(prefill)에 중요한 지표인 밀집 PFLOP-시간당 비용으로 같은 일곱 공급자를 가격 책정했으며, 순위가 변경되므로 댓글로 요청해 주시면 표를 게시하겠습니다.
서비스용 GPU를 선택할 때, 대역폭, 메모리 크기, 아니면 시간당 가격 중 무엇을 기준으로 비교하십니까?
가격은 2026년 10월 30일 기준 InferPrice의 공개 온디맨드 목록 가격이며, 각 가격은 제공업체 자체의 가격 페이지에서 가져온 것입니다: RunPod, CoreWeave, Nebius, Modal, Together AI, DeepInfra, Fireworks. InferPrice가 산술 계산과 테스트를 수행했으며, 여기에 제시된 내용은 이 GPU들을 기반으로 벤치마킹되지 않았습니다.
출처 (Sources)
본래 inferprice.pages.dev에서 게시되었습니다.