변호사가 사용한 8개의 Nvidia V100 GPU로 사설 AI 서버 구축

한 변호사가 Reddit에 자신의 사설 AI 서버 구축 경험을 게시했습니다. 이 서버는 2018년경의 사용된 Nvidia Tesla V100 데이터 센터 GPU 8개로 구성되었으며, 이를 통해 사건 파일이 사무실을 벗어날 필요가 없도록 했습니다. 두 개의 4카드 SXM2 NVLink 보드와 네 개의 PEX 스위치, 그리고 곳곳에 배치된 SlimSAS 케이블(여기에 전원 커넥터 하나가 타버린 것도 포함)을 이용해 구축자는 현재 오픈 소스 DeepSeek V4.1 Flash 모델을 GPU 메모리 전체를 활용하여 초당 최대 215 토큰(tokens per second)으로 구동하고 있습니다. 이 4GPU 보드들은 구축자가 구매했을 당시 개당 약 $2,400의 비용이 들었습니다.

Lawyer's V100 homelab, update: two 4-card SXM2 NVLink boards, four PEX switches, SlimSAS everywhere, one burnt power connector, and a 250 GB model running entirely in VRAM at 200+ tok/s

 from r/homelab

8개의 Tesla V100-SXM2-32GB 카드는 각각 900 GB/s의 HBM2 메모리 32GB를 탑재하고 있으며, PCIe 슬롯 대신 데이터 센터 GPU용 Nvidia의 메자닌 소켓인 SXM2에 연결되고 두 개의 베이스보드에 분산되어 있습니다. 각 보드 내부에서는 네 개의 카드 모두 NVLink로 연결되어 있어(NVLink는 Nvidia의 직접적인 GPU-to-GPU 링크임) 보드당 128GB를 확보하지만, 두 보드는 오직 PCIe를 통해서만 통신합니다. 각 보드는 SlimSAS 케이블을 통해 두 개의 PEX (PLX) 스위치 카드에 연결되며, 총 네 개의 스위치가 사용됩니다. 이 스위치들은 각각 자체 x16 업링크를 통해 PCIe 3.0 x8 속도로 두 개의 GPU를 처리합니다.

제시된 가격은 이미 과거의 것이지만, 중고 V100 SXM2 32GB 카드는 현재 eBay에서 게시물에 나온 개당 약 $400보다 두 배가 넘는 약 $900에 올라와 있으며, 목록을 보면 가격이 계속 오르고 있음을 시사합니다. 이 시스템은 또한 필요한 다른 구성 요소들을 갖추고 있습니다: 12코어 3945WX CPU와 일치하는 Gigabyte Threadripper Pro 마더보드, 8x 32GB DDR4 RDIMM, 하나의 NUMA 노드, 그리고 총 2,800W의 두 개의 PSU는 별도의 일반 사무실 전력 회로에 연결되어 있습니다. 이는 많은 양의 빠른 VRAM을 한 곳에 모으기 위한 저렴한 방법으로서 중고 데이터 센터 하드웨어의 실제 사례입니다.

이 서버는 현재 사건 파일에 대한 1차 작업에 일상적으로 사용되고 있습니다: 기록 폴더를 읽고, 사실, 날짜 및 숫자를 추출하며, 이를 요약하고, 루틴 초안 작성을 처음 시도합니다. “실제 검토 없이는 아무것도 나가지 않는다”는 것은 일반적으로 좋은 인간 개입(human-in-the-loop) 정책입니다. 또한 클라이언트 파일을 클라우드나 최첨단 모델로 전송할 수 없는 사건의 개인 정보 보호를 보장하는 데 도움이 됩니다. RAG 데이터베이스와 도구 호출(tool calls)이 연결되어 있으며, 운영자는 SSH를 통해 Discord 스타일 인터페이스로 시스템을 구동할 수 있습니다. 이 경우 Windows PC에서 작동합니다. 현재는 한 번에 하나의 요청만 처리합니다.

DeepSeek V4.1 Flash는 여기서 주로 2비트로 압축되었으며, 가중치(weights)의 총합은 여전히 248.8GB입니다. 모델의 “전문가” 부분, 즉 각 단어에 대한 대부분의 작업을 수행하는 부분이 GPU 메모리에 완전히 상주하며, 약 110GB의 조회 테이블(lookup tables)인 Engram 테이블은 시스템의 일반 RAM에 남아 있습니다. RAM에서 데이터를 가져오는 데는 단계당 약 0.12밀리초가 소요되는데, 이는 구축자가 속도 수치에 거의 영향을 미치지 않는다고 말합니다.

모델 레이어의 전반부(0–19)는 첫 번째 SXM2 보드에서, 후반부(20–39)는 두 번째 보드에서 실행됩니다. 각 보드는 자체 NVLink를 통해 무거운 트래픽을 처리하므로, 단계마다 느린 PCIe 링크를 가로지르는 핸드오프가 단 한 번만 필요합니다. 이전 게시물에서 제작자는 모든 레이어를 8개 카드에 분산시키면 해당 PCIe 호핑(hop) 때문에 속도가 “급격히 떨어지는” 현상을 발견했다고 언급했습니다.

이 정도 크기의 모델치고는 성능이 놀라울 정도로 좋습니다. 코드가 가장 빠르게 출력되며, 최대 초당 215 토큰을 기록했는데, 이는 DeepSeek에 내장된 작은 초안(draft) 모델이 다섯 개의 토큰을 미리 추측하고 코드 예측이 쉬운 특성 덕분입니다. 이 서버의 용도인 법률 문서 작성은 최대 초당 118 토큰으로 작동합니다.

긴 문서를 처리하는 데는 시간이 더 걸립니다. 모델은 프롬프트를 초당 약 2,200 토큰으로 읽어들이기 때문에, 128K 토큰의 경우 첫 번째 토큰이 도착하기까지 약 1분 정도가 소요됩니다. 이 서버는 최대 524K 토큰의 컨텍스트(context)를 수용할 수 있습니다. 게시물 작성 사흘 전만 해도 같은 모델이 이 카드 4개에서 겨우 초당 36–38 토큰을 기록했습니다. 성능 향상은 두 번째 보드 덕분으로 추정되며, 제작자는 나머지 성능은 커스텀 커널(custom kernels)과 프리필 작업 덕분이라고 평가합니다. 전체 상세 내역은 표를 참고하십시오.

DeepSeek V4.1 Flash on eight Tesla V100s, by prompt length
|

제작자 측정치, 11월 5일; 그리디 디코딩(greedy decoding), 1,024 토큰 출력, 두 번의 실행 평균.

모든 것을 연결하고 전원을 켜는 것만큼 간단하지 않았다. 호스트가 한 GPU 보드 링크에서 치명적인 PCIe 오류와 함께 두 번 리셋되었다. 두 경우 모두 더 높은 전력 제한과 클럭이 제한되지 않은(uncapped) GPU 클럭을 사용했다. 이 상태에서는 카드가 180W 제한을 초과하는 192–232W를 소비했다. "증명된 것은 아니지만" 가장 유력한 추측은 부하 급증 시 보드가 응답을 멈추는 것이라는 것이다.

빌더가 클럭을 제한하고 전원 커넥터에 그을음 자국이 있는 보드 하나를 제거한 후에 리셋은 멈췄다. "커넥터를 확인하세요, 여러분." 이제 각 카드는 300W 정격의 절반인 150W로 제한되었으며, 그래픽 클럭은 1522MHz로 제한되었다. 테스트에 따르면 200W 제한은 눈에 띄는 성능 향상을 가져오지 않았다.

시스템 메모리도 수정되지 않은 ECC 오류를 일으켰는데, 이는 빌더가 RAM을 DDR4-3200에서 DDR4-2666으로 낮춘 후에 사라졌다. 마지막 점검 시 한 GPU는 x8이 아닌 x4로 연결되어 있었고, 빌더는 이를 다시 장착할 계획이다. 한 댓글 작성자는 자신의 V100에서도 비슷한 문제를 불량 케이블 탓으로 돌렸다.

이 과정의 어려움은 보상할 만했다. 변호사의 기존 LLM(대규모 언어 모델) 워크플로우 중 추정 50–60%가 이제 최첨단 모델 대신 이 장비에서 실행될 수 있기 때문이다. 격차를 메우는 데 도움을 주는 것은 두 DGX Sparks에 있는 두 번째 DeepSeek 서버로, 두 시스템이 서로 작업을 인계한다. 이 설정은 돈을 절약하는 것처럼 보이며, 적어도 API 가격 책정(API pricing)과 비교했을 때 그렇다. 비록 빌더는 이것이 실제로 더 빠르지는 않다고 말하지만, "목표인 자체적으로 포함되면 고객 데이터를 보호할 수 있기" 때문이다.

빌더는 V100 박스에 240V 회로가 추가될 수도 있다고 덧붙였다. 전력 공급 외에도, 이 시스템은 Nvidia R580 드라이버 브랜치에 의존하고 있으며, 이는 [Volta를 지원하는 마지막 경로]이기 때문에 시간이 제한적이다. 현재 변호사 본인은 이것이 주로 취미 활동이라고 인정하지만, 미래에는 사업 아이디어가 될 수도 있다고 밝혔다. 다음 단계는 두세 개의 요청을 동시에 처리하는 것이며, 이 기능은 테스트 시스템에서 구축하고 확인했지만 아직 서버에 적용되지는 않은 부분이다.