가장 크거나 화려하지는 않지만, 저의 것입니다. 초기 Llama 모델들을 돌리던 게이밍 머신의 추론(inference) 단계부터, 4x RTX 6000 Pro Max Q + 4x 3090s 로컬 AI 클러스터에 이르기까지의 과정입니다. 사진은 역순으로 구성되어 있습니다! 최근 가격 폭등(pricing apocalypse)으로 인해 이곳에 공유되는 빌드가 줄어들고 있어, 제가 항상 즐겼던 방식대로 다년간의 발전 과정을 담은 제 빌드를 공유해보고자 합니다. 목표/동기: (1) 로컬에서 실행, (2) 개인 키와 데이터를 클라우드로부터 격리, (3) 학습을 위한 영감.

빌드 타임라인
2023년 9월: AI에 빠지게 되었고, 초기 Llama 1 & 2 모델을 실행하기 위해 기존 게이밍 GPU에 두 번째 3090을 추가했습니다.

• 2023년 12월: 세 번째 3090을 추가했습니다. 하지만 당시 제 워크플로우에 유용할 만큼 충분히 컸던 첫 번째 로컬 모델인 Goliath 120B를 실행하기에는 여전히 부족했기에 이미 업그레이드를 계획 중이었습니다.
• 2024년 1월: 현재의 설정이 실용적이지 않고 홈 오피스를 너무 뜨겁게 만들었기에, 마침내 전용 AI 서버로 본격적인 업그레이드를 결정했습니다. 이곳에서 거의 똑같이 공유되었던
  (엔지니어링 샘플 CPU 포함)을 사용하기로 결정했습니다. 사양: ASROCK ROMED8-2T, 64코어 AMD Epyc 7003 엔지니어링 샘플, 512 GB DDR4, 7개의 PCIE 슬롯. 빌드 예산과 사양에 맞춰 전직 채굴업자로부터 6x 3090 채굴 프레임을 통째로 현지에서 구매했습니다. 직접 만나서 모든 카드를 실시간으로 테스트했습니다. 그 과정에서 1~2개가 고장 났거나 교체가 필요하다는 것을 알게 되었습니다. 항상 직접 만나서 테스트하세요!
• 2024년 8월: 두 대의 별도 4x 3090 머신을 성공적으로 운영 중입니다. ROMED8-2T 시스템은 실험용으로, 오래된 채굴용 시스템은 안정적으로 계속 가동되는 AI용으로 사용하는 아이디어였습니다. 하지만 여전히 SOTA(State-of-the-Art)와 비교하면 아쉬운 q4 모델들을 실행해야 했고, 이후 1년 동안의 이미지/비디오 확산(diffusion) 실험은 느렸으며, 다양한 LLM/diffusion 서브레딧의 성능과 다른 사람들의 설정을 보며 부러워했습니다.
• 2025년 9월: 2025년 말에서 2026년 1월 사이에 4x RTX 6000 Pro Max Q를 점진적으로 확보했습니다.

가격과 타이밍이 운이 좋았습니다. 오늘날의 가격이라면 구매하지 않았을 것입니다. * 2026년 1월 - 현재 - 4x RTX 6000 Max Q (각 300W), 4x RTX 3090 (전력 제한 150W, 대부분은 4x PCIE 3.0의 PCIE 스플리터에 연결됨). 안정적이고 신뢰할 수 있으며 아주 잘 작동합니다! 화재 위험 및 기타 문제들 * 클라우드가 훨씬 저렴합니다. 단언컨대, 이 빌드는 오직 엔지니어(Enthusiast)로서의 열정과 개인정보 보호(Privacy-first)를 목적으로 구축되었습니다. 저는 (여전히) 원금을 회수할 것이라고 기대하지 않습니다 (2026년 1월부터 추적을 시작한 이후, 30M 토큰을 생성했으며, 그중 2B는 프롬프트 처리였습니다. 모두 "실제" 워크로드였습니다). * 가장 좌절스러웠던 점: GPU가 버스(Bus)에서 탈락하는 PCIE 문제, 진단하기 어려웠던 낮은 처리량(Throughput). 근본 원인은 다음과 같았습니다: 불량 PCIE 케이블, 재현 불가능한 문제를 일으키는 저품질 전원 공급 장치(PSU), 여러 개의 PSU를 잘못 연결하여 라이저(Riser)를 태워 먹는 등의 배선 문제 등. * 언젠가는 처음부터 학습(Training), 미세 조정(Fine-tuning), 그리고 ComfyUI LORA를 직접 수행할 계획이었습니다. 현실은: 그럴 시간이 없었습니다. * 집을 거의 태워 먹을 뻔함: 2025년 9월경, 마침내 add2psu를 사용하여 3개의 1300W 소비자용 PSU를 데이지 체인(Daisy-chaining) 방식으로 연결해 9개의 3090을 단일 시스템에 구축했습니다. 어느 날 부하(Load)가 걸린 상태에서 차단기가 내려갔고 add2psu 보드가 타버렸습니다. 다행히 연결되어 있던 RTX 6000은 살아남았습니다. 제가 이것을 사용하는 용도 * 스타트업 개발 (사용량의 90%): 제 비즈니스를 가속화했습니다. 로컬/개발용 개인 키(Private keys)가 클라우드로 유출되거나, 사용량 제한, "서비스 사용 불가" 등을 더 이상 걱정할 필요가 없습니다. LLM API와 모델 동작이 매번 제가 기대하는 대로 정확히 작동합니다(tm). * https://unmute.sh/ 기반의 개인 비서 느낌: 프라이빗하게 포크(Fork)하여 도구 사용(Tool use, 캘린더/이메일/메모리/Obsidian 연동) 및 주기적인 예약 작업과 같은 수많은 새로운 기능을 추가했습니다. 비즈니스 용도 외에 개인적으로 거둔 가장 큰 성과는 혼자서 일상적인 인지 부하(Cognitive load)를 줄인 것입니다 (Tailscale을 통해 휴대폰 어디에서나 접속할 수 있습니다).

• 로컬에서 AI를 구축하는 AI: 다른 사람들처럼 저도 분위기 중심의 개발 워크플로우(vibe-coded dev workflow; 요구사항 -> 구현 -> 테스트/검증)를 만들었고, 이를 사용하여 GLM 5.2를 활용한 제 제품 중 하나를 위한 자기 개선형 AI 예측 시스템(self-improving AI prediction system)을 구축했습니다. * 미디어 및 음성: 비즈니스와 가족의 즐거움을 위한 ComfyUI 이미지/비디오. GLM 5.2는 또한 HuggingFace의 speech-to-speech를 기반으로 하여, 거의 한 번에 작동하는 맞춤형 언어 음성-대-음성(voice-to-voice) 튜터를 만들어 주었습니다. 다음 단계 * 재귀적 자기 개발 시스템(recursive self-development systems)을 깊이 파고들기 (소형 모델들은 단일 RTX 6000에 완벽하게 들어맞습니다). * 가격이 내려가기를 기다려 고용량 VRAM 카드를 하나 더 구매하기 (Blackwell 또는 그 이상); GLM 5.2가 4개의 좋은 GPU를 모두 점유하기 때문에, 이미지/비디오 생성을 실행하고 싶을 때마다 끊임없이 설정을 변경해야 합니다. 가격이 당분간 내려가지 않을 것 같으므로 차세대 메인보드 CPU를 기다릴 예정입니다. * 현재 가지고 있는 여분 부품들로 4x 3090 사이드 리그(side rig) 완성하기 (그동안 이 부품들을 약 5개월 동안 연결하지 않은 채 방치해 두는 바람에 게을리했습니다) 이는 음성/이미지/비디오 작업을 오프로딩(offloading)하고 더 작고 빠른 모델들을 호스팅하는 용도로 사용할 것입니다. * 기타 재미있는 프로젝트: 카메라를 통한 집안 AI 모니터링 + 딸과 함께 만든 라즈베리 파이(Raspi) 로봇에 AI 추가하기, 어쩌면 마침내 소규모의 밑바닥부터 시작하는 모델 개발(from-scratch model development)을 해볼 수도 있습니다. [link] [comments] /u/Tourus 님이 제출함