16xGB10 (DGX Spark) 클러스터 구축
요약
Deepseek v4 pro 등 대규모 오픈 모델을 로컬에서 실행하기 위해 16xGB10 클러스터를 구축하는 과정을 설명합니다. 고속 네트워크 연결을 통해 2T+ 규모의 모델 실행 가능성을 목표로 합니다.
핵심 포인트
- 16xGB10(DGX Spark) 기반의 로컬 클러스터 구축
- Mikrotik 스위치를 활용한 400G/100G 고속 네트워크 구성
- Deepseek v4 pro, Kimi K3 등 프런티어급 모델 실행 목적
- 2T+ 파라미터 규모의 대형 모델 구동 환경 마련
프런티어 급 (frontier level) 오픈 모델들을 로컬에서 실행할 수 있도록 준비 중입니다. Deepseek v4 pro, Kimi K3, 그리고 향후 나올 GLM 5.5 및 Minimax M4와 같은 모델들 말이죠. 16x Asus GX10을 Mikrotik CRS804-4DDQ를 통해 400에서 100Gbit로 연결되는 4개의 브레이크아웃 케이블 (breakout cables)로 연결했습니다. 아마도 8개씩 구성된 클러스터 2개에서 각각 2개의 모델을 실행하게 될 가능성이 높지만, 집에서 AGI를 실행해야 할 때 2T+ 규모의 모델도 실행할 수 있는 가능성을 열어두고 싶습니다 :)). https://x.com/i/status/2083568340870570208 submitted by /u/ciprianveg [link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0