AI 붐은 그 어떤 행렬 연산 FLOPS (Floating Point Operations Per Second)도 낭비할 수 없음을 의미하며, 이는 Tensor Core (텐서 코어)를 탑재한 구형 Nvidia GPU들이 새로운 생명력을 얻고 있음을 뜻합니다. RTX 2080 Ti에 22GB의 VRAM을 장착해 주는 서비스들이 생겨나고 있으며, 이는 원래 메모리 용량을 두 배로 늘려 현대적인 LLM (대규모 언어 모델) 및 확산 모델 (diffusion) 워크로드에 더 유용하게 만들어 줍니다. 하지만 연산 능력이 절실하지만 개조할 RTX 2080 Ti가 없다면, eBay에 딱 맞는 상품이 있습니다. 홍콩 기반의 판매자가 499달러에 미리 개조된 22GB 2080 Ti를 보내줍니다.

TH Premium과 함께 더 깊이 알아보기: GPUs

Asus RTX 5080 Noctua Edition

(이미지 출처: Noctua)

• 데스크톱 로드맵 (Desktop Roadmap)
• 엔터프라이즈 로드맵 (Enterprise Roadmap)
• Rubin 심층 분석 (Rubin in-depth)
• The Stout Owl: 궁극의 Noctua G2 PC (The Stout Owl: The ultimate Noctua G2 PC)

해당 매물은 22GB 모드가 적용된 "Turbo", 즉 블로워 (blower) 스타일의 RTX 2080 Ti를 받게 될 것이라고만 약속합니다. 판매자는 "GPU 브랜드는 Gigabyte, MSI, ASUS, Leadtek 또는 기타 브랜드가 될 수 있습니다. 저희가 보유한 재고에 따라 달라집니다."라고 밝히고 있으므로, 받게 될 카드의 특정 브랜드에 대해 너무 까다롭게 굴지 마십시오.

eBay 리스팅 사진에는 Gigabyte 블로워 (blower) 스타일의 카드와 배송 준비가 된 것으로 보이는 개조된 카드들이 가득 담긴 커다란 상자, 그리고 작동 중인 카드에서 22,528 MB의 메모리가 확인되는 GPU-Z 스크린샷이 보입니다.

판매자의 eBay 전체 평점은 99.6%로 상대적으로 낮은 편이지만, 이 특정 리스팅에 대한 피드백을 보면 최소 38명의 만족한 구매자가 이 카드들을 받았으며 설명된 대로 잘 작동하고 있음을 보여줍니다.

여러분이 그 만족한 구매자 중 한 명이 될 수 있다고 가정한다면, 500달러의 22GB RTX 2080 Ti는 요즘 찾을 수 있는 VRAM 대비 최고의 가성비(bang for your buck) 제품일 수 있습니다. 이 상대적으로 큰 메모리 풀은 RTX 2080 Ti의 616 GB/s 메모리 대역폭 (memory bandwidth) 및 텐서 코어 (Tensor Cores)와 결합되어, 로컬 LLM 작업에 여전히 유용함을 의미합니다. 비록 최신 제품들과 비교했을 때 순수 연산 능력 (raw compute capacity)과 제한된 저정밀도 데이터 타입 (reduced-precision data type) 지원이 까다로운 디퓨전 (diffusion) 워크로드를 느리게 만들 수는 있겠지만 말입니다.

Turing 아키텍처 카드 중에서 24GB Titan RTX는 현재 eBay 가격으로 약 800달러를 유지하고 있으며, 동일한 VRAM 용량을 가진 Quadro RTX 6000은 약 900달러입니다. 로컬 AI 애호가들이 가장 선호하는, 936 GB/s의 메모리 대역폭을 제공하는 더 빠른 GDDR6X 24GB를 탑재한 RTX 3090은 약 1,200달러에 판매되고 있는 것으로 보입니다. 이보다 더 많은 VRAM을 가진 Ampere RTX Pro 카드들은 그 지점부터 가격이 급격히 상승합니다.

이 모든 GPU가 출시된 지 수년이 지난 후에도 여전히 높은 가격을 유지하고 있다는 사실은, 2018년 이후 소비자용 및 데이터 센터 제품 모두에서 Nvidia의 텐서 코어 (Tensor Core) 아키텍처가 보여주는 지속적인 유용성과 보편적인 가용성을 입증하는 증거입니다.

AMD는 2020년 CDNA 1부터 자사의 IP 무기고에 행렬 연산 가속기 (Matrix Math Accelerators)를 보유해 왔으나, 작년 초 RDNA 4가 등장하기 전까지는 Instinct 데이터 센터 제품군으로 그 가용성이 제한적이었습니다. Intel은 2022년 말 Alchemist 아키텍처부터 XMX 행렬 엔진 (XMX Matrix Engines)을 포함시켰지만, Arc 그래픽 제품들은 해당 기능의 유무를 넘어 상당한 도전 과제들에 직면해 왔습니다. 그리고 Apple은 M5 제품군에 이르러서야 비로소 GPU에 뉴럴 가속기 (Neural Accelerators)를 도입했습니다.

이 모든 사실이 의미하는 바는, 만약 여러분이 VRAM 용량이 절실하면서도 그에 걸맞은 충분한 연산 성능 (Compute)이 필요하다면, 22GB RTX 2080 Ti가 그 목적지에 도달할 수 있는 매력적이고 상대적으로 저렴한 방법이 될 수 있다는 것입니다. 또한 그 대가로 CUDA 소프트웨어 생태계 전체에 접근할 수 있는 권한도 얻게 됩니다. 이미 전자 폐기물 (e-waste) 함으로 들어갔을지도 모를 8년 된 GPU치고는 나쁘지 않은 선택입니다.