한 컴퓨팅 열성 팬이 로컬 LLM (Large Language Model, 거대언어모델) 추론 목적으로 매우 시끄럽고 거의 구식이 된 (하지만 많은 VRAM을 보유한) 엔터프라이즈 GPU를 재용도 변경(repurposed)했습니다. 이들은 단돈 266달러(£200)의 지출로 총 VRAM 용량을 32GB로 두 배 늘린 시스템을 즐기고 있습니다. 이는 특히 RAMpocalypse 상황 속에서 훌륭한 결과입니다.

Oscar Molnar는 대규모 로컬 LLM 프로젝트를 위한 VRAM 확장을 완료하기 위해, 16GB HBM2를 탑재한 저렴한 Tesla V100 SXM2와 SXM2-to-PCIe 어댑터, 그리고 잔디깎이만큼 시끄러운 쿨러를 위한 PWM 모드(PWM mod)를 확보했다고 설명했습니다. 실제로, 중국에서 구매하는 것이 상관없다면 미국 eBay에서 개당 140달러 미만으로 판매되는 것을 볼 수 있듯이, 현재 이 GPU들은 저렴해 보입니다.

위에서 언급했듯이, 풍부한 VRAM을 가진 이러한 Tesla V100 SXM2 카드 하나를 그냥 가져와서 PC에 꽂을 수는 없습니다. Molnar는 역시 eBay에서 SXM2-to-PCIe 어댑터를 구매하는 데 약 66달러를 지출했다고 말했습니다.

그 정도면 충분하다고 생각할 수도 있습니다. 하지만 PC 및 로컬 LLM (Local LLM) 열성 팬인 Molnar는 Tesla V100 SXM2에 기본으로 장착된 "지옥에서 온 팬"의 소음에 질겁했습니다. 그 비명을 지르는 듯한 쿨러의 소음은 82dB로 측정되었습니다. Molnar는 이를 "음식물 쓰레기 분쇄기와 잔디깎이 사이의 어딘가"라고 묘사했습니다. 이것은 지금까지 중 가장 복잡한 수정 작업일 수 있지만, 기본적으로 기존 팬 배선을 재배치하여 메인보드의 PWM 팬 헤더에 연결하기만 하면 됩니다. 이 작업을 위해 단순히 "2.54mm male to PH2.0 female 점퍼 케이블"을 구매할 수도 있습니다. 듣기로는 팬이 10% 속도로만 돌아도 Tesla V100을 풀 로드(Full load) 상태에서 50°C 미만으로 유지할 수 있다고 합니다.

Nvidia Tesla V100

(이미지 출처: Nvidia)

270억 파라미터 LLM, 초당 32토큰 속도로 실행

모든 하드웨어 장착과 미세 조정이 완료되자, Molnar는 32GB VRAM 시스템을 사용할 수 있게 되었습니다. 이는 RTX 4080 (16GB VRAM, Ada 아키텍처 (Ada architecture))과 Tesla V100 (16GB VRAM, Volta 아키텍처 (Volta architecture))이 결합된 PC입니다. 이들은 32GB VRAM을 갖춘 Tesla V100을 구할 수도 있지만, 가격이 두 배라고 언급했습니다.

이 DIY 사용자는 시스템이 LLM을 위해 이 총 32GB의 VRAM을 활용하도록 만드는 것은 까다롭지 않았다고 말합니다. 이들은 Volta와 Ada 아키텍처를 모두 지원하는 레거시 Nvidia 드라이버가 포함된 NixOS를 사용했습니다. 로컬 LLM (Local LLM)을 테스트한 결과, 270억 파라미터 모델을 초당 32토큰 속도로 실행할 수 있었으며, 이는 "대화형 사용에 충분히 빠르며" 대부분의 클라우드 API 대안보다 빠르다고 말합니다.