미국 본토에서 eBay를 통해 중고·재정비 데이터센터 서버 장비를 대량 판매하는 신뢰할 만한 업체는 많아야 30~40곳 정도일 것임. 평가가 14개뿐인 무명 판매자에게 중고 GPU 여러 장을 사는 건 매우 위험함
Dell R840과 768GB RAM 같은 서버를 판매하면서 평가가 수천 개이고 평점이 98.5% 이상인 업체라면 위험이 훨씬 낮아 보임

고장났을 가능성이 큰 장비를 누가 신품 가격의 70% 에 사는지 의문임. 빠르게 폐업한 소형 연구소 장비라면 괜찮을 수 있지만, 수년 동안 열 한계에 가깝게 가동한 클러스터가 그런 중고 가격을 받을 것 같지는 않음

Nvidia가 대형 고객과 Ferrari식 환매 계약을 맺어 업그레이드 물량이 한꺼번에 풀리며 가격이 폭락하는 것을 막고 희소성을 유지할 것 같기도 함
그렇지 않다면 몇 년 뒤 공개 시장에서 H100을 구할 수 있기를 기대함

대규모 사내 GPU 데이터센터를 보유한 조직에서 근무했는데, 상당한 할인율로 전환하는 계약에 기존 하드웨어를 전부 넘기고 추가 구매를 중단한다는 조건이 포함됐음

A100과 H100이 최첨단 모델을 효율적으로 구동하기에는 완전히 구식이 되고 가격이 폭락하면, 향후 몇 년간 범용 GPU 연산의 황금기가 열릴 수 있음
GPU 가속 질의 엔진, 전통적 머신러닝, GPU로 넘길 수 있는 각종 CPU 작업에 이상적일 것임

데이터센터가 H100을 처분하는 건 신형 칩의 전력 효율이 훨씬 좋아져 운영 경제성이 사라질 때뿐일 것임
그때의 H100은 오늘날 중고 V100처럼 전력 효율이 형편없고 최신 데이터 형식과 연산 엔진이 없으며, 이상한 어댑터와 굉음을 내는 서버 팬 없이는 녹아버릴 수 있고 CUDA 지원도 한참 전에 끝난 장비가 될 것임. 다른 대안이 전혀 없지 않은 이상 거의 쓸모없을 가능성이 큼

그런 계약은 불법이어야 하며, 매우 기만적인 사업 관행처럼 들림

H100 취미 사용자 시장이 생긴다면 꽤 기이할 것임. 중고 장비를 사들여 새 섀시에 이식하는 사업도 가능해 보임

Huawei가 저가 가속기를 시장에 내놓으면 미국 AI 기업들도 자산의 실제 가치를 곧 알게 될 것이며, 남은 시간은 6~9개월 정도로 봄

여름에 뜨거워지는 랙, 펌웨어 업데이트 후 불안정해진 냉각 회로, 장애 직전 노드에서 우회시켜야 할 작업 같은 정보는 모두 모니터링 시스템에 있어야 함
그렇다면 어떤 최첨단 모델도 짧은 시간 안에 상황을 파악할 수 있으므로, 글쓴이가 자신이 다루는 시스템이 가져온 변화를 충분히 이해하지 못한 듯함

생성형 AI가 만든 문장이라면 글쓴이가 직접 쓴 것이 아니므로, 글쓴이의 이해도는 애초에 영향을 주지 않음

이 문제가 GPU 클러스터에만 특별한 이유를 모르겠음. 일반적으로 대출 심사·인수 담당자는 담보로 잡은 자산을 운영하고 유지할 능력이 없으며, 그래서 주택·자동차·설비가 경매에서 실제 가치보다 훨씬 싸게 팔리고 대출기관은 보험에 가입함

GPU 클러스터만의 문제가 아님. 심오하고 결정적인 통찰을 발견했다고 여긴 사람이 장황하게 쓴 글에 가까움
대형 제재소가 거액의 대출을 갚지 못해 은행에 압류되는 과정을 봤는데, 은행은 사업장을 떠안고 싶지 않았지만 창업자가 그만두자 선택지가 없었음. 건조로에 든 완제품 목재조차 처리할 방법을 몰랐고 제재소 전체 인프라는 더 막막했기에, 구매자를 찾지 못한 끝에 창업자를 컨설턴트로 고용해 청산했음. 압류된 데이터센터도 같은 과정을 겪을 것임

경매는 비싸고 위험한 자산을 사기에 형편없는 방식일 수 있음. 일반 거래처럼 충분히 검증할 수 없으므로 경매 가격에는 그 위험이 반영됨

GPU 가치가 비교적 천천히 하락하는 건 공급 제약의 산물임. FP4 추론에서 Hopper와 Rubin을 자유롭게 고를 수 있다면, 하드웨어를 공짜로 받아 전기료만 내더라도 와트당 성능 때문에 Hopper는 매력이 없음
현재는 Rubin은커녕 Blackwell도 구하기 어려워 H100에 돈을 내지만, 팹 생산 능력이 확대되면 지속되지 않을 현상임

리소그래피의 물리적 한계로 기술 발전 속도도 크게 느려지고 있어 과거 같은 세대별 도약은 다시 보기 어려울 것임
더 기이한 건 막대한 하드웨어가 주문 적체 상태이고, 이미 배정된 가동 가능한 장비도 시설 완공을 기다리며 놀고 있다는 사실임. 시설 건설은 이미 수년씩 늦어졌고 관련 기업 사이의 각종 신용과 부채 스와프로 얽혀 있어, 단순한 거품이 아니라 풍선 위에 세운 카드탑에 가까움

팹 생산 능력은 간단히 늘릴 수 없음. 모든 것이 연간 EUV 장비 수십 대만 생산하는 ASML에 달려 있음

팹이 정말 생산 능력을 확대할지도 의문임. 증설하지 않고 높은 가격을 유지하는 편이 사업적으로 더 유리할 수 있음

골드러시가 꺾인 뒤 삽값이 어떻게 됐는지 궁금함. 대장장이들에게는 원하는 만큼의 고철이 쏟아졌을 것임

암호화폐 시장에서 배운 바로는 GPU의 수명이 끝나는 주된 이유가 고장만은 아님. 새로운 시장 조건에서 구형 장비의 전력 효율을 경제성 없게 만드는 대안이 등장하기 때문임

다만 SXM 카드에는 제대로 된 중고 시장이 없음

512GB Mac Studio가 eBay에서 연초 신품 가격의 두 배에 팔리고 있음

HBM도 아니고 진짜 GPU도 아닌데 왜 그런지 이해하기 어려움. 모델이 간신히 메모리에 들어갈 수 있고 MacBook만 쓰던 사람에게는 상시 켜둘 서버처럼 느껴질 수 있지만, 유능한 코딩 에이전트를 실용적인 속도로 돌리기는 여전히 어려워 보임
괜찮은 신차 가격을 쓸 거라면 제대로 된 워크스테이션을 만드는 편이 나음. Apple TV 크기의 컴퓨터가 가격 대비 최고 성능에 적합할 리 없으며, 여윳돈 많은 예비 바이브 창업가들끼리 과열시키는 것인지 의문임

내가 사는 나라에서도 DGX Spark 유사 제품이 구매가의 거의 두 배에 팔리고 있음. 참 우스운 세상임

RAM이 들어간 건 무엇이든 가치가 오르는 자산이 됨

글은 GPU 클러스터를 로켓 과학처럼 묘사하지만, 이를 발전소로 바꿔도 질문은 전혀 달라지지 않음. 둘 다 복잡하고 변수가 많으며 현재 출력, 정기 유지보수, 숙련 인력 등이 필요함
결국 직접 해결하거나 해결할 수 있는 회사와 계약하게 될 것이고, 실제로 이런 클러스터를 AI용으로 임대하려는 업체는 많을 것임

조만간 압류된 GPU가 시장에 대량으로 나올 조짐이 충분함. 한동안 혼란스럽겠지만 중고 GPU를 쉽게 구하게 되면 많은 가능성이 열릴 것임

소련 붕괴 뒤 무기 시장과 비슷하게 들림. 작동하는 전차나 핵무기 부품을 구하기에 그보다 좋은 시절은 없었을 것임

그 많은 GPU로 무엇을 할지 궁금함. 모두가 훌륭한 게임용 PC를 갖게 될 수도 있음
현실적으로는 암호화폐 채굴장이 다시 급증해 암호화폐 가격을 낮출 수도 있는데, 값싼 GPU의 대량 공급이 그 밖에 어떤 변화를 가능하게 할지 궁금함