DGX가 10만 달러이고 GLM-5.3 출력 토큰이 100만 개당 1.4달러라고 가정하면, 현실적으로 어려운 최대 가동률을 유지하고 전기료까지 무시해도 투자금 회수에 약 7년이 걸림. 개인정보 보호 같은 목적이 아니라면 경제성이 없음.
상용 API 사용 승인을 받는 데 몇 년씩 걸리는 통제된 환경에서는 유용함. 은행·의료·기밀·민감 데이터를 다루는 사무실에 이런 워크스테이션 두 대를 놓으면 엔지니어들의 불만을 해소할 수 있음.
가격 출처가 어디인지 궁금함. https://docs.z.ai/guides/overview/pricing에 따르면 100만 토큰당 입력은 1.4달러, 출력은 4.4달러, 캐시된 입력은 0.26달러임.
하루 출력 5,000만 토큰과 입력 5억 토큰, 입력·출력 비중 90%·10%를 가정한 내 대략적인 계산으로는 하루 22달러 + 630달러에 해당함. 입력이 출력의 10배라는 가정도 보수적으로 잡은 것이고, 실제로는 4배 정도일 듯함. 이 계산이면 DGX Station 두 대의 20만 달러를 1년 이내에 회수할 수 있음.
수정: 기사를 실제로 읽어보니 디코딩과 프리필 성능을 명확하게 구분하지 않아, 이런 논쟁 자체가 별 의미 없게 됨.
비슷한 글마다 투자수익률을 따지지만, 자체 호스팅에서 비용 절감은 대개 작은 부수 효과임. 독립성·개인정보 보호·변하지 않는 비검열 모델만으로도 충분히 가치가 있음.
지금처럼 하드웨어 가격에 엄청난 웃돈이 붙는 상황에서는 최상위 모델 자체 호스팅에 경제성이 없어 보임. 생산량이 수요를 따라잡으면 가격이 어떻게 달라질지 궁금함.
Kimi K3.1 Pro 같은 다른 모델의 대규모 배포와 비교하면 특히 초라해 보임. GB300 GPU 한 개당 초당 1만~3만 8,000토큰이라는 수치를 들은 적 있음.
두 대를 넘겨 연결할 때는 어떻게 하는지 궁금함. Quantum X800 스위치가 필요한지, 빠른 Ethernet 스위치면 되는지? VRAM 용량은 매력적이지만, “통합 RAM”이라는 마케팅은 불필요하게 혼란스럽고 네트워크 연결 가능 여부도 확신할 수 없어 구매를 피했음.
B300 노드는 50만 달러인데, 그 규모라면 지금은 MI355X를 선택할 듯함. 새 Claude 모델들이 쉽게 이식해 줄 수 있을 것으로 보기 때문임. Station은 점진적으로 증설할 수 있다는 장점이 있지만, 그냥 H100 NVL 몇 개를 더 넣고 RoCE를 시도할지도 고민 중임. 적어도 이 글 덕분에 여러 아이디어가 떠오름.
macOS에는 Thunderbolt 고속 연결을 사용하는 도구가 있음. 몇 개 노드를 넘어서 확장하기는 어렵지만, 접근하기 쉬운 절충안으로 보임.
수정: github.com/exo-explore/exo임.
고속 RAM만 사용하고 시스템마다 RAM 500GB는 사용하지 않는 구성인가?
DGX 두 대로 돌리기에 가장 좋은 모델은 무엇인지 궁금함. DeepSeek 대신 GLM을 선택한 이유가 있을까?
GLM-5.3은 GLM-5.2와 같은 구조로 더 단순하고 먼저 출시됐음. 하이브리드 어텐션과 Manifold-Constrained Hyper-Connections는 GLM-5.3-Flash에서야 도입됨.
또 NVIDIA가 인수한 HuggingFace는 해킹당했을 때 GLM-5.2로 포렌식 분석을 했으니, 이 모델에 더 익숙할 것으로 추정함. DeepSeek-V4.1-Flash는 메모리 효율이 더 좋아 GPU 판매량이 줄어들 것이라는 점도 있음.
DeepSeek의 강점은 사용자당 메모리 사용량을 크게 줄여 같은 하드웨어에서 훨씬 많은 동시 사용자를 수용하는 데 있음. 동시 사용자가 늘면 전체 처리량도 크게 높아지므로 호스팅 비용이 저렴해짐. 기사 표 2에서 전체 처리량과 사용자별 지연 시간의 절충 관계를 볼 수 있음.
DeepSeek는 GLM보다 높은 동시 접속 수를 지원할 수 있지만, 압축에 따른 품질 손실이 전혀 없지는 않을 듯함. 다만 이는 순전히 추측이고, 직접 DeepSeek를 써보지도 않았으며 벤치마크가 내 체감과 잘 맞는다고 생각하지도 않음. 사용자 수가 적다면 DeepSeek의 이런 절충이 별 이득을 주지 않을 수 있음.
가정이나 소기업에서 20만 달러 이상인 이 구성을 진지하게 고려한다면 전력과 소음을 다시 생각해야 함. 한 대당 1.6kW에 그에 걸맞은 팬이 필요함. 동시 사용자 16명에서 초당 600토큰은 가정이나 직원 100명 미만 기업에 필요한 성능도 아님. 기술직 연봉이 높아 구매할 여력이 있더라도 재고할 필요가 있음.
지금은 가정에서 최상위권 모델을 돌릴 만한 좋은 해법이 없으니, 당장은 Qwen 37B 정도로 만족하는 편이 나음. 이런 모델에는 막대한 메모리 용량과 대역폭이 필요한데, 위 구성은 비싼 HBM과 과도한 연산 성능으로 이를 해결함. 가정에서는 저렴한 대용량 메모리에 가중치를 담고 GPU 하나를 충분히 공급할 대역폭만 확보하는 편이 더 적합함. 그런 제품이 있다면 이론적으로 GLM 5.3에서 초당 50토큰에 가까운 성능을 낼 수 있음. 2027년에는 고대역폭 플래시(HBF) 제품이 여럿 나올 것으로 예상됨. 지연 시간은 HBM의 약 10배지만 추론은 지연에 비교적 관대하고, 로컬 추론의 첫 토큰 도착 시간은 어차피 인터넷을 거치는 것보다 빠르므로 핵심 제약은 용량과 대역폭임.
여러 TB급 HBF 제품도 예상됨. NAND/NOR 플래시는 RAM보다 바이트당 비용이 훨씬 낮으며, 병렬 연결로 대역폭을 높이는 것도 그리 어렵지 않음. NVIDIA의 Kioxia 솔루션 외에도 Sandisk, Samsung, Tenstorrent, Mythic이 공개 최상위 모델의 로컬 추론을 위한 GPU·HBF 구성을 선보였음. 현재 플래시의 TB당 가격보다 10배 비싸게 팔려도 기존 대안보다 훨씬 저렴함. 당장은 구독으로 버티고 더 나은 하드웨어를 기다리는 편을 권함.
구독만으로 버틸 수 없는 경우도 있음. 주요 3사 모두 검열과 도덕적 훈계를 강화하고 있고, 최근에는 Claude에 내 코드의 특정 보안 기능을 검토해 달라고 했더니 아예 거절함.
집에서 먼지만 쌓이던 3090과 Razer 외장 GPU 케이스를 Strix Halo 395 머신에 연결했음. 거부 성향을 제거한 Qwen 3.8 Flash Next와 이미지 편집 모델 몇 개를 돌리고 pi로 접속함. 속도도 꽤 괜찮고 작년 말 최상위 모델 수준 이상으로 작동하며, 무엇보다 간섭 없이 원하는 일을 할 수 있음. 지금도 최상위 모델을 쓰지만 로컬 모델과 병행 중이고, 이런 구성을 추천함. 아이디어도 여기서 얻었음.
소음은 심할 수 있지만 1.6kW는 탁상형 인덕션보다도 낮음. 호주에서 쓰는 내 인덕션은 2kW이고 몇 시간씩 가동함. 온풍기나 오일 히터도 비슷함.
아니면 서버를 임대하면 되지 않을까?
제목의 초당 토큰 수가 단일 사용자 기준이라고 이해했는데 맞을까? 여러 사용자가 접속하면 이를 나눠 쓰고 사용자 증가에 따른 추가 손실도 생길 것 같음. 직원 100명 미만 기업에는 불필요하다는 얘기가 있는데, 실제 사용자 100명이면 어떻게 되는지 궁금함.
글 끝에 동시 사용자 수에 따른 실제 처리량 그래프가 있음. 단일 사용자는 초당 107토큰으로 DGX Spark 4대보다 약 2~3배 빠름. 초당 607토큰은 사용자 16명의 합계이므로, 사용자당으로는 초당 35토큰을 조금 넘는 수준임.
GB300 DGX 한 대에 RAM 256GiB, 가격 10만 달러인가? 기업에는 감당할 만한 가격으로 보임. 다만 Claude처럼 초당 50~100토큰을 원하면서 사용자는 10명뿐이라면, 기업용 규모라고 보기는 어려울 수도 있음. 비유하자면 LLM은 아직 초기 Model S 단계인 듯함.
첫 문장의 “최상위 규모 모델을 로컬에서 실행하려면 모든 가중치를 GPU 메모리에 유지해야 한다; 가장 큰 모델은 이제 한 대에 들어가지 않는다”를 보니 차라리 AI가 썼으면 싶어짐. 세미콜론을 C 언어처럼 사용한 듯함. 영어에서는 세미콜론 뒤 내용이 앞 내용을 어느 정도 설명해 주기를 기대하게 됨.
지금 시세로 DGX Station 두 대를 사려면 대도시의 비싼 부동산을 상속받아 팔거나 복권에 당첨돼야 할 듯함.
아직 하지 않았다면 Google, Apple 같은 기술·산업 분야의 건실한 우량주 장기 투자를 고려할 만함. 25년 동안 좋은 성과를 낸 데는 이유가 있고 선택지도 많음. 무작정 단타를 하지 않고 꾸준히 이어가면 본업 외에 또 하나의 일이 될 수 있음.
설계·엔지니어링 부서에서 동료 여덟 명이 이익배분 상여금으로 재산을 불리려 했는데, 성공한 사람도 실패한 사람도 있었고 절반 정도는 포기한 뒤 세상을 원망함. 잡음을 무시하고 꾸준히 유지하면 자산의 복리 효과가 실제로 작동함.