차고에서 발견된 암호화폐 채굴 장비로 54GB VRAM을 $35에 확보하고 테스트한 결과

A Reddit post를 올린 사용자 markpronkin(“OP”)은 “54GB VRAM for 35$”라는 제목으로, 차고에서 발견된 오래된 암호화폐 채굴 장비를 협상가 3,000 루블(약 $35)에 구매했다고 밝혔다. 이 장비는 녹슬어 있었고, 구매자도 판매자도 작동 여부를 전혀 알지 못했으며, 사전 구매 테스트 요청은 거부되었다. 하지만 첫 시도에서 총 9개의 Nvidia P106-100 GPU가 합쳐서 54GB의 VRAM을 제공하며 모두 정상적으로 작동했다. 초기 테스트로는 Ollama에서 350억 개 매개변수(parameter) 모델인 Qwen3.6-35B-A3B를 성공적으로 로컬 구동했으며, 이 과정에서 초당 30 토큰(tokens per second) 이상의 속도를 기록했다.

54gb vram for 35$

 from r/LocalLLaMA

이 장비는 판매자가 몇 년 전에 구매한 “습기가 많은 차고”에서 발견되었으며, 이후 러시아의 중고 물품 사이트인 Avito에 올라왔다고 한다. OP는 이 장비가 작동할지 여부에 대해 우려하여 테스트를 제안하고 작동한다면 더 많은 돈을 지불하겠다고 했지만, 판매자는 이를 거부했고 테스트 없이 가격이 협상되었다. 구매자는 비용 자체가 위험을 감수하기에 충분히 낮았다고 말했다. 비록 장비가 작동했더라도, 메인 시스템의 CPU가 성능이 낮은 Celeron이며 시스템 메모리도 매우 적어 전반적인 성능은 불균형한 상태였다.

이 장비는 원래 전문 Nvidia P106-100 GPU를 사용한 암호화폐 채굴용으로 설계되었습니다. 이 카드는 Pascal 세대 카드이며 각각 6GB의 GDDR5 메모리를 탑재하고 있으며, OP가 “기본적으로 gtx 1060 6gb”라고 부릅니다. 참고로 Gigabyte의 P106-100은 192비트 버스 폭에 8,008 MHz 메모리를 가지고 있어 카드당 약 192 GB/s의 대역폭을 제공합니다. 이 하드웨어는 원래 2017년 중반경에 출시되었습니다. Nvidia 개발자 블로그에 따르면, Pascal GPU를 포함하는 Compute Capability(CC) 7.5 미만의 GPU는 더 이상 완전히 지원되지 않으며, CUDA 13.0 오프라인 컴파일 제거에서 지원이 중단됩니다. 또한 드라이버 브랜치 580은 “CC 7.5 이전 GPU를 지원하는 마지막 버전”이라고 합니다. 다만, 보안 업데이트는 2028년 10월까지 지원됩니다라는 점을 언급했습니다.

첫 번째 테스트는 Alibaba의 Qwen 모델을 사용한 Mixture-of-Experts (MoE) 모델이었습니다. 이 모델은 Hugging Face의 모델 카드에 따르면 “총 35B [파라미터]를 가지고 있으며 활성화된 것은 3B”입니다. 이는 대략 24GB 용량으로 다운로드됩니다. 초기 테스트에서는 Ollama에서 초당 “30개 이상의 토큰”을 기록했지만, OP는 다중 토큰 예측(multi-token prediction)과 일부 최적화를 통해 더 빠르게 작동할 수 있을 것이라고 말합니다.

다른 사용자는 이러한 성능이 CPU만으로도 가능하다는 의견을 제시했고, 이에 대해 OP는 “최적화 없이 35달러짜리 장비에서요?”라고 반문했습니다. Qwen3.8-27B와 같은 밀집(dense)하고 MoE가 아닌 모델은 잘 작동하지 않을 가능성이 높지만, “VRAM에 완전히 들어가는 모든 MoE 모델은 괜찮게 실행되어야 합니다.” 또한 성능은 PCIe 2.0 x1 마더보드 슬롯의 제약을 받을 것으로 예상됩니다.

해당 시스템은 성능이 뛰어나지만 일부 인기 모델의 크기 때문에 몇 가지 제한 사항이 있을 수 있습니다. Qwen3.6-35B-A3B를 8비트로 사용하면 36.9GB에 적합하며, Llama 3.3 70B도 4비트에서 42.5GB로, 5비트에서는 50GB 바로 아래여서 컨텍스트 공간이 거의 남지 않습니다. 더 큰 모델은 아마 작동하기 어려울 것이며, 심지어 4비트 Llama 70B조차 다른 병목 현상에 부딪히기 전에 초당 약 4.5 토큰 수준에서 한계에 도달할 것입니다. 이는 각 토큰이 약 192 GB/s로 카드별 전체 42.5GB를 읽어오기 때문입니다. 구매자가 달성한 성능은 이 장비의 역량에도 불구하고 나온 것이며, MoE 모델이 그러한 유형의 결과에 가장 적합했습니다.

구매자는 여전히 좋은 거래를 했다고 할 수 있는데, VRAM 1GB당 가격이 약 65센트에 불과하기 때문입니다. 비교하자면, VRAM 32GB와 메모리 대역폭 1,792 GB/s를 가진 RTX 5090은 2025년 초에 $1,999에 출시되었습니다. 이 장비는 가격의 2%도 안 되는 비용으로 VRAM을 1.7배 더 많이 가지고 있지만, 각 카드의 대역폭은 약 9분의 1 수준입니다. OP(원글 작성자)에 따르면, 주로 컴퓨팅만 하는 P106 카드는 GTX 모델 대비 약 50%의 가격에 판매됩니다.

여기서 한 가지 중요한 주의사항은 전기 비용인데, GPU가 결합하여 추정되는 TDP는 1,080W이지만, OP는 러시아 전체적으로 전기가 무료이거나 일반적으로 저렴하다고 말합니다.

장비를 안전하게 확보한 후, 작성자는 이 하드웨어를 i7-7700K CPU와 32GB RAM을 지원하는 더 나은 케이스로 옮길 계획입니다. 새 케이스는 12개의 GPU를 수용할 수 있어, 같은 제품 세 개를 추가 구매하면 총 72GB의 VRAM을 확보하게 됩니다. 이 구매 옵션이 매력적인 이유는 '무제한 사용과 실제 프라이버시' 때문이라고 구매자는 WiredEntrepreneur에 말했습니다. 사용된 하드웨어 재활용를 적절한 크기의 MoE 모델을 갖춘 자체 호스팅 AI 솔루션에 활용하는 것은 자유를 원하는 열성 사용자에게 실행 가능하고 유용한 프로젝트입니다. 작성자의 관점에서 볼 때, VRAM이 많다는 것은 더 많은 자유를 의미합니다.