요즘 제 마음을 괴롭히는 게 뭔지 아시나요?

매달 저는 OpenAI와 Anthropic에 구독료로 약 40달러를 보냅니다. 여기에 야심 찬 프로젝트를 빌드할 때 사용하는 API 크레딧으로 30달러가 추가로 나갑니다. 즉, 한 달에 70달러, 1년에 840달러를 쓰고 있는 셈인데, 저는 2023년부터 이 작업을 해왔습니다. 이쯤 되면 로봇들과 대화하기 위해 중고차 한 대 값에 맞먹는 돈을 지불한 셈입니다.

그래서 **"jamesob's guide to running SOTA LLMs locally"**라는 가이드가 Hacker News 메인 페이지에 올라와 단 하루 만에 297점의 추천과 128개의 댓글을 받았을 때, 저는 주목했습니다.

전제는 간단합니다. 클라우드 제공업체로부터 지능을 빌려 쓰는 대신, 직접 GPU를 구매하여 모델을 직접 실행하는 것입니다. 저자인 Jamesob은 약 40,000달러의 하드웨어로 "Claude Opus에 상당히 근접한" 성능을 얻을 수 있다고 주장합니다. 예산이 더 빠듯하다면요? 2,000달러로 Qwen3.6-27B와 whisper-large-v3를 로컬에서 실행할 수 있는 설정을 갖출 수 있습니다.

저는 주말 내내 가이드 전체를 읽고, 가격을 교차 검증하며, 직접 비용 분석을 수행하고, 실제로 이러한 시스템(rig)을 구축한 사람들과 이야기를 나누었습니다. 로컬 SOTA LLM이 언제 합리적인지, 그리고 언제 확실히 합리적이지 않은지에 대한 저의 솔직한 견해를 공유합니다.

40,000달러 규모의 빌드: 실제로 무엇을 얻을 수 있는가

여러분이 가장 궁금해할 만한 헤드라인 숫자부터 시작해 봅시다. 로컬 LLM 세계에서 40,000달러로 무엇을 살 수 있을까요?

Jamesob의 빌드 구성:

구성 요소	사양	가격
메인보드 (Motherboard)	ASRock Rack ROMED8-2T (SP3, 7× PCIe 4.0 x16, dual 10GbE)	$715
...

솔직히 말씀드리면, 총액을 보고 움찔했습니다. Jamesob조차 자신이 "RTX Pro 6000 4개를 더 저렴했을 때 살 만큼 운이 좋았거나 혹은 바보 같았다"고 인정할 정도입니다. GPU 값만 46,000달러에 달하니, 이것은 확실히 "홈 서버 엔지니어(home server enthusiast)" 영역에 속합니다.

하지만 중요한 점은 이렇습니다. 384GB의 VRAM(비디오 램)이 있다면, Claude Opus와 놀라울 정도로 유사한 벤치마크 성능을 보이는 5,940억 개의 파라미터(parameter) 모델인 GLM-5.2-Int8Mix-NVFP4-REAP-594B를 실행할 수 있습니다. 460K 컨텍스트 윈도우(context window)에서 초당 약 80개의 토큰(tokens per second)을 생성한다면, 이는 진정으로 사용 가능한 수준입니다. 단순히 "기술 데모용"이 아닙니다. "이 녀석에게 내 PR(Pull Request)을 검토하게 시켜야지"라고 생각할 수 있을 만큼 실질적으로 사용 가능한 수준입니다.

여기서 핵심 비결은 PCIe 스위치(switch) 설정입니다. 대부분의 멀티 GPU(multi-GPU) 빌드는 텐서 병렬성(tensor parallelism)과 관련된 작업 시 GPU가 CPU의 PCI 루트 컴플렉스(PCI root complex)를 통해 데이터를 라우팅해야 하기 때문에 병목 현상이 발생합니다. Jamesob의 c-payne 스위치는 4개의 GPU가 모두 단방향 27.5 GB/s, 양방향 50.4 GB/s의 속도로 마이크로초 미만의 지연 시간(latency)을 유지하며 서로 직접 통신할 수 있게 해줍니다. 이는 Gen4 라인 레이트(line rate) 수준입니다. 스위치가 없다면 PCIe 오버헤드(overhead)로 인해 멀티 GPU 추론(inference) 성능의 30~40%를 손실하게 될 것입니다.

저예산 빌드: $2,000

여기서부터 우리 같은 일반인들에게 흥미로운 부분이 시작됩니다.

괜찮은 노트북 한 대 가격인 약 2,000달러로 다음과 같은 시스템을 구축할 수 있습니다.

• 중고 RTX 3090 2개 (각 24GB VRAM, 총 48GB)
• 충분한 PCIe 레인(lanes)을 갖춘 기본적인 AMD 또는 Intel 플랫폼
• 1200W 이상의 PSU(전원 공급 장치)
• 이미 보유하고 있는 케이스 및 저장 장치

48GB의 VRAM이 있다면, 로컬 음성-텍스트 변환(speech-to-text)을 위한 whisper-large-v3와 함께 Qwen3.6-27B를 쾌적하게 실행할 수 있습니다. 이는 많은 코딩 및 추론(reasoning) 작업에서 GPT-4와 경쟁하는 270억 개의 파라미터 모델입니다. 대규모로 GPT-4 API 크레딧을 한 달 동안 사용하는 비용과 비교하면 나쁘지 않은 선택입니다.

아무도 말하지 않는 어려운 부분

가이드에서 충분히 강조하지 않는 사실이 있습니다. 바로 이 장비들을 설정하는 것이 매우 어렵다는 점입니다.

Jamesob은 다음 사항들에 상당한 시간을 소비했습니다:

1. BIOS 설정 지옥 (BIOS configuration hell) — PCIe Gen4 링크 속도를 (Auto가 아닌) 강제로 설정하고, ASPM을 비활성화하며, Re-Size BAR를 활성화하고, SR-IOV를 비활성화해야 합니다. 설정 하나만 잘못되어도 GPU 링크 속도가 Gen1으로 떨어지며, 이를 디버깅하는 데 몇 시간을 허비하게 됩니다.

2. 커널 파라미터 (Kernel parameters) — iommu=off 설정이 필수적입니다. 그렇지 않으면 멀티 GPU 환경에서 NCCL이 멈춰버립니다(hang). 이는 즉각적인 보안 트레이드오프(tradeoff)를 수반합니다. IOMMU를 사용하지 않는다는 것은 모든 PCIe 장치가 완전한 DMA 접근 권한을 가진다는 의미입니다.

3. ACS 비활성화 (ACS disable) — PCIe 액세스 제어 서비스(Access Control Services)를 매 부팅 시마다 setpci를 통해 런타임에서 비활성화해야 하며, 이를 위해서는 패치된 커널이나 부트 스크립트가 필요합니다. 이것이 없으면 P2P 트래픽이 CPU를 거쳐 전달되어, PCIe 스위치를 사용하는 목적 자체가 무색해집니다.

4. 기계 공학 (Mechanical engineering) — 그는 GPU와 PCI 스위치를 위한 맞춤형 나무 인클로저(enclosure)를 직접 제작했습니다. 빌드 로그에는 "목공 작업에 하루를 보냄"이라고 적혀 있습니다.

5. 전력 관리 (Power management) — 네 대의 RTX 6000 Pro가 풀 가동될 때 약 2,400W를 소모합니다. 이는 표준 15A 110V 회로를 차단시키기에 충분한 전력입니다. Jamesob은 단일 회로에서 시스템을 계속 가동하기 위해 각 카드의 전력 제한을 (기본값인 600W에서) 350W로 낮추었습니다.

이것은 플러그 앤 플레이(plug-and-play) 방식이 아닙니다. 커널 파라미터와 BIOS 심층 설정에 익숙하지 않다면, 직접 배우거나 누군가에게 비용을 지불해야 할 것입니다.

경제성: 로컬이 클라우드를 이기는 시점은 언제인가?

제가 실제로 관심을 두는 부분인 비용 비교 계산을 해보겠습니다.

클라우드 API 가격과 비교하여 세 가지 시나리오를 살펴보겠습니다.

시나리오 1: 헤비 API 사용자 (월 $500)

GPT-4 또는 Claude API 크레딧으로 매달 $500를 지출하고 있다면:

• $2k 로컬 빌드는 4개월이면 본전을 뽑습니다.
• $51k 로컬 빌드는 본전을 뽑는 데 102개월(8.5년)이 걸립니다.
• 승자: $2k 빌드가 압도적입니다.

시나리오 2: 중간 규모 API 사용자 (월 $50)

대부분의 개인 개발자처럼 매달 $50를 지출하고 있다면:

• $2k 로컬 빌드는 40개월(3.3년)이면 본전을 뽑습니다.
• $51k 로컬 빌드는 실질적인 관점에서 결코 손익분기점에 도달할 수 없습니다.
• 승자: 둘 다 아님 — 클라우드 API를 계속 사용하는 것이 낫습니다.

시나리오 3: 팀/조직 (월 $5,000)

팀이 API 추론(Inference)에 월 $5,000를 지출한다면:

• $2k 로컬 구축은 2주 만에 비용 회수가 가능합니다.
• $51k 구축은 10개월 만에 비용 회수가 가능합니다.
• 승자: 둘 다 해당되지만, Opus 수준의 품질이 필요하다면 $51k 구축이 합리적입니다.

나의 견해: $2k RTX 3090 구축은 API를 헤비하게 사용하는 개인 개발자에게 가장 적합한 지점(Sweet spot)입니다. $51k 구축은 클라우드 API에 월 $5,000 이상을 지출하거나, 최고의 오픈 소스 모델이 반드시 필요한 팀 또는 개인에게만 의미가 있습니다.

AMD라는 와일드카드

Jamesob의 가이드에서는 다루지 않았지만, 반드시 주목해야 할 내용이 있습니다.

이번 주 별도의 HN 포스트에 따르면, **AMD MI355X에서 GLM5.2를 실행했을 때 노드당 초당 2626 토큰(tokens/second/node)**을 기록했으며, 이는 "NVIDIA의 엔터프라이즈 라인업인 Blackwell보다 비용이 2배 이상 저렴하다"고 주장하고 있습니다.

이는 경제성을 크게 변화시킵니다. AMD의 MI355X는 NVIDIA의 엔터프라이즈 라인업과 경쟁하기 위해 공격적인 가격 책정을 하고 있습니다. 만약 처음부터 시스템을 구축한다면, AMD가 추론(Inference) 워크로드 측면에서 RTX 6000 Pro보다 더 나은 가성비(Price-to-performance)를 제공할 수도 있습니다.

트레이드오프(Trade-off)는 무엇일까요? AMD의 ROCm 소프트웨어 스택은 CUDA만큼 성숙하지 않습니다. VLLM이 이를 지원하지만, 예외적인 상황(Edge cases)에 직면할 수 있습니다. 약간의 수고를 감수할 준비가 되어 있다면, 절감할 수 있는 비용은 상당할 것입니다.

로컬 SOTA로 실제로 할 수 있는 것들

저는 약 6개월 동안 로컬 LLM을 사용해 왔습니다 (훨씬 더 겸손한 구성인 단일 RTX 4090 환경에서). 제가 발견한 로컬 LLM의 강점은 다음과 같습니다:

제3자에게 데이터를 전송하지 않는 코드 리뷰 (Code review): 지적 재산권 (IP) 유출 걱정 없이 전체 PR diff를 로컬 모델로 파이프라이닝할 수 있습니다. 독점적인 코드베이스를 다루는 경우, 이것만으로도 하드웨어 비용의 가치를 충분히 합니다.

언제나 사용 가능한 페어 프로그래밍 (Pair programming): 클라우드 API는 다운될 때가 있습니다. 최악의 순간에 속도 제한 (Rate limits)에 걸리기도 합니다. 로컬 모델은 항상 온라인 상태입니다. ChatGPT가 다운되었던 주말 코딩 세션 동안 로컬 환경 덕분에 위기를 넘긴 적이 있습니다.

진정으로 프라이빗한 음성-텍스트 변환 (Speech-to-text): Jamesob은 로컬 STT를 위해 whisper-large-v3를 언급했습니다. 저는 코드 받아쓰기, 회의록, 일기 작성 등 이를 매일 사용합니다. 그 어떤 데이터도 제 컴퓨터를 벗어나지 않습니다.

실험의 자유: 100가지 변형에 대해 이상한 프롬프팅 (Prompting) 기법을 시도해보고 싶으신가요? 클라우드 API를 사용하면 5~10달러가 들지만, 로컬에서는 오직 시간과 전기료만 들 뿐입니다.

로컬 모델이 어려움을 겪는 부분은 여전합니다: 창의적 글쓰기 (클라우드 모델이 여전히 더 나은 감각을 보여줌), 복잡한 다단계 추론 (Opus 수준의 모델을 빠르게 실행하려면 5만 1천 달러 규모의 빌드가 필요함), 그리고 모델 앙상블 (Ensemble) 접근 방식의 이점을 얻을 수 있는 모든 작업들입니다.

결론 (The Bottom Line)

6개월 전에 누군가 저에게 말해줬으면 좋았을 내용입니다:

2천 달러 규모의 중고 3090 빌드는 2026년에 개발자가 할 수 있는 최고의 구매입니다. API를 헤비하게 사용하는 사용자라면 금방 본전을 뽑습니다. 48GB VRAM에서 Qwen3.6-27B의 성능은 진정으로 인상적이며, 대부분의 개발자가 클라우드 모델을 사용하는 용도의 90%를 소화하기에 충분합니다.

5만 1천 달러 규모의 빌드는 개인이 아닌 팀을 위한 것입니다. 오픈 소스 모델을 기반으로 제품을 구축하는 것이 아니라면, RTX 6000 Pro 4개를 구매하는 것은 정당화하기 어렵습니다. 경제성은 팀 규모에서는 작동하지만, 개인 규모에서는 그렇지 않습니다.

AMD 옵션은 지켜볼 가치가 있습니다. 올해 ROCm이 20% 정도 더 성숙해진다면, AMD 경로가 모두에게 현명한 선택이 될 것입니다.

그리고 가이드 자체도 매우 훌륭합니다. Jamesob의 README는 진지한 로컬 LLM 빌드에 무엇이 필요한지 이해하기 위해 제가 발견한 단연 최고의 리소스일 것입니다. 단 한 푼도 쓰지 않더라도, 하드웨어 결정 사항, 커널 파라미터 (kernel parameters), 그리고 PCIe 아키텍처 (PCIe architecture)를 읽어보는 것만으로도 추론 인프라 (inference infrastructure)를 훨씬 더 깊은 수준에서 이해하게 될 것입니다.

저는 아직 ChatGPT 구독을 취소하지는 않을 것입니다. 하지만 eBay에서 중고 3090을 쇼핑하고 있습니다. 그리고 솔직히 말해서? 저는 이것이 2026년 대부분의 개발자에게 올바른 선택이라고 생각합니다.

로컬 LLM 장비를 구축해 보셨나요? 여러분의 경험은 어떠했나요? 댓글을 통해 무엇이 잘 작동하고 (그리고 무엇이 그렇지 않은지) 들려주시면 감사하겠습니다.