수정: 저는 Reddit 포맷팅에 서툰 사람입니다. 잠시만 기다려 주세요. 이곳 사람들이 실제로 구매하는 GPU의 미국 배송 이베이 목록을 VRAM당 비용($/GB)으로 순위를 매겨 추적해 왔습니다. 오늘 스냅샷은 다음과 같습니다:
| 카드 | 저가 (Low end) | 미국 전용 저가 (US-only low end) | 저가 $/GB | 대역폭 (Bandwidth) | $ per GB/s |
|---|
| Tesla P100 16GB | $174 | $159 | $10.88 | 732 GB/s | $0.24 |
| Tesla P40 24GB | $280 - (7 US) | $11.67 | 346 GB/s | $0.81 | |
| Tesla V100 16GB (mostly SXM2) | $220 | $238 | $13.75 | 900 GB/s | $0.24 |
| Instinct MI50 16GB | $268 - (3 US) | $16.75 | 1,024 GB/s | $0.26 | |
| Instinct MI50 32GB | $702 - (2 US) | $21.93 | 1,024 GB/s | $0.69 | |
| Tesla V100 32GB | $949 | $807 | $29.66 | 900 GB/s | $1.05 |
| Quadro RTX 8000 48GB | $2,111 | $2,000 | $43.99 | 672 GB/s | $3.14 |
| Instinct MI100 32GB | $1,490 - (6 US) | $46.56 | 1,229 GB/s | $1.21 | |
| RTX 3090 24GB | $1,790 | $1,737 | $74.58 | 936 GB/s | $1.91 |
| RTX A6000 48GB | $4,600 | $4,400 | $95.83 | 768 GB/s | $5.99 |
| RTX 4090 48GB (modded) | $5,390 — (1 US) | $112.29 | 1,008 GB/s | $5.35 | |
| A100 40GB | $4,799 | $6,020 | $119.98 | 1,555 GB/s | $3.09 |
| A100 80GB | $13,995 | $13,995 | $174.94 | 1,935 GB/s | $7.23 |
| CMP 170HX 40GB (10GB card, unlocked) | $2,950 — (6 US) | $73.75 | 1,555 GB/s | $1.90 | |
| CMP 170HX 64GB (8GB card, unlocked) | $4,510 — (7 US) | $70.46 | 1,493 GB/s | $3.02 | |
| Radeon AI Pro R9700 32GB | $2,430 | $2,250 | $75.94 | 640 GB/s | $3.80 |
모든 요청 가격은 단일 카드 기준이며 고정 가격이고 부품용이 아닙니다. 'low end'는 신뢰할 수 있는 목록의 10%를 의미하며, 즉 너무 좋아서 믿기 어려운 예외적인 물건이 아니라 인내심 있는 구매자가 실제로 얻을 수 있는 수준입니다. 미국 전용 열거 목록의 '-'는 미국 매물이 10개 미만임을 의미합니다. $/GB/s는 단순히 'low end' 가격을 대역폭으로 나눈 값입니다. 저는 오랫동안 MI100에 관심을 가져왔는데, 예전에는 $1100 근처에서 오랫동안 머물렀습니다... 심지어 그것마저도 올라가는 것 같습니다. 저는 9월 초에 8x V100 32GB 서버를 $5400에 구매했습니다. 그 가격들은 이미 사라졌으며, 동등한 서버는 이제 OG DGX Station(메모리 제외)의 경우 $11k입니다. 정확히 같은 인스퍼(inspur) 서버는 8x 9년 된 GPU에 대해 이제 $13k입니다. 미쳤습니다. 가격이 곧 현실로 돌아오기를 바라지만, 실제로 그렇게 되지는 않을 것 같습니다.
몇 가지 참고 사항:
- P100, V100 16GB, MI50 16GB는 모두 약 $0.25/GB/s로 계산됩니다.
P40은 VRAM GB당 가격이 저렴해 보이지만, 대역폭(bandwidth)이 V100의 약 3분의 1밖에 되지 않기 때문에 GB/s당 비용은 3배 이상 비쌉니다. 사람들은 Opus 5.5를 이용해 이 카드들을 위한 메가커널(megakernels)을 작성하고 있으며, 이는 놀라울 정도로 잘 작동합니다.
- 약 $14/GB의 V100 16GB가 표에서 가장 좋은 거래처럼 보이지만, 가장 저렴한 40개 중 38개가 SXM2 모듈이므로 어댑터나 SXM2 서버를 고려해야 합니다. 가장 저렴한 32GB V100은 SXM3 (DGX-2) 모듈인데, 이것 역시 바로 장착할 수 있는(drop-in) 방식이 아닙니다.
- MI50 32GB는 ROCm이 협조한다고 가정할 때, 비슷한 대역폭에서 3090의 $/GB보다 3분의 1 이하입니다. 단일 카드에서 48GB를 원한다면, Quadro RTX 8000은 A6000이나 개조된(modded) 4090 48GB보다 가격이 절반도 안 됩니다.
- 소비자 및 워크스테이션 카드 중에서, 3090은 GB/s당 가장 저렴합니다. A100 40GB는 RTX 8000과 비슷한 GB/s당 비용이 듭니다.
- 참고로, 미국 판매자로부터 구매하는 것이 보통 더 비싸지 않습니다. P100, V100 32GB, RTX 8000, 3090, A6000의 경우, 미국 전용 최저가가 글로벌 가격과 같거나 그보다 낮습니다. V100 16GB는 약 $20 더 비싸고, A100 40GB는 약 $1,200 더 비쌉니다. 또한 P40과 MI50은 미국에서 거의 찾아볼 수 없습니다.
미국 전용 필터가 적용된 전체 데이터 및 카드별 목록은 다음과 같습니다: https://rackbites.com. 표시된 가격은 판매 희망가이며, 실제 거래 완료 가격이 아닙니다. 이베이의 판매 데이터 API는 매우 제한적입니다.
수정: CMP 170HX 추가 / 수정2: R9700 추가 / 수정3: 벤치마크 및 기타 유용하거나 관련 있는 정보는 /u/MzCWzL에 의해 제출되었으며, 전체 빌드는 여기 https://rackbites.com/builds에서 확인할 수 있습니다. [링크] [댓글]