로컬 하드웨어에서 SOTA (State-of-the-Art) 대규모 언어 모델을 실행하기 위한 실전 가이드입니다. 저자는 두 가지 예산 방안을 제시했습니다:

2k(2,000달러) 예산으로는 듀얼 RTX3090 (48GB VRAM)을 사용하여 Qwen3.6-27B를 구동하고,
40k(40,000달러) 예산으로는 쿼드 RTX PRO 6000 (384GB VRAM)을 사용하여 GLM-5.2-594B와 같이 Opus 수준에 근접한 모델을 구동합니다.

핵심 아이디어는 새로운 플랫폼이 아닌 VRAM (비디오 램)에 비용을 집중하는 것입니다. 호스트 시스템의 EPYC 7313P와 DDR4 메모리는 모두 eBay에서 중고로 구하여, 절약한 예산을 모두 그래픽 카드에 투입했습니다. 주목할 점은 c-payne의 PCIe Gen4 스위치 칩을 사용하여 네 장의 그래픽 카드 간 직접 통신이 가능하게 했다는 것입니다. 실측 결과 양방향 대역폭은 50.4 GB/s, 지연 시간(latency)은 0.5 µs 미만으로 Gen4 선속(line speed)에 도달했습니다.

저자는 구축 과정 전체를 아주 상세하게 기록했습니다. BIOS에서 bifurcation 및 ASPM을 설정하는 방법, 커널 파라미터에 왜 iommu=off를 추가해야 하는지, 110V 회로에서 차단기가 내려가지 않도록 각 카드의 소비 전력을 어떻게 350W로 제한하는지, 심지어 SAS 케이블을 잘못 선택했을 때의 지뢰밭(주의사항)까지 모두 명시했습니다.

실행 측면에서는 Docker 기반의 솔루션을 제공하여 각 모델을 독립된 컨테이너로 운영하며, opencode를 통해 API를 노출합니다. 마지막으로 에이전트(agent)가 호스트 시스템을 망가뜨리지 않고 안전하게 작업할 수 있도록 샌드박스 VM을 구축했습니다.