여러 가정용 PC에 대규모 AI 모델을 구동하는 방법

만약 여러분이 Qwen2-57B나 Mixtral-8x22B (141B 파라미터) 같은 모델을 로컬에서 실행해 보았다면, 아마도 소비자급 하드웨어의 물리적 한계인 **VRAM 고갈(VRAM exhaustion)**에 부딪혔을 것입니다.

단일 소비자 GPU는 보통 8GB, 12GB 또는 16GB 정도의 VRAM이 최대입니다. 141B Mixture-of-Experts (MoE) 모델을 하나의 장치에 구겨 넣으려면 수천 달러짜리 엔터프라이즈급 80GB 데이터센터 가속기가 필요합니다.

한편, 여러분 책상이나 홈 랩 주변을 둘러보세요:

• RTX 3060 (12GB)이 장착된 워크스테이션
• RTX 4060 (8GB)이 장착된 노트북
• DDR5 시스템 메모리를 공유하는 AMD Radeon 680M/780M iGPU가 탑재된 미니 PC
• Linux를 실행하고 AVX-512 지원 CPU가 있는 보조 기기

만약 이처럼 서로 다른(heterogeneous) 하드웨어들을 표준 가정용 기가비트 네트워크 위에서 하나의 파이프라인 클러스터로 만들 수 있다면 어떨까요?

이것이 바로 제가 **Glacier.Inference.Distributed**를 구축한 이유입니다.

핵심 아이디어: 이종 파이프라인 병렬 처리 (Heterogeneous Pipeline Parallelism)

Glacier.Inference.Distributed는 균일한 클러스터 하드웨어나 복잡한 분산 학습 프레임워크를 요구하는 대신, **파이프라인 병렬 처리(pipeline parallelism)**를 사용하여 GGUF 트랜스포머 모델을 $N$개의 장치에 걸쳐 분할합니다.

모델 레이어는 사용 가능한 노드들 사이에 슬라이싱됩니다. 단일 토큰의 은닉 상태 활성화(hidden state activation)가 클러스터 전체에 순차적으로 흐릅니다:

[Token IDs]
     │
     ▼
...

LAN 지연 시간이 병목 현상인가?

분산 추론에서 가장 흔한 가정은 표준 1000BASE-T 기가비트 이더넷이 토큰 생성 속도를 저해할 것이라는 것입니다.

실제로는 수학이 다르게 증명합니다.

LLM의 순차 디코딩 단계 동안, 클러스터는 네트워크를 통해 모델 가중치(model weights)를 교환하지 않습니다. 각 노드는 할당된 레이어를 로컬 VRAM 또는 시스템 RAM에 유지합니다. 토큰당 네트워크를 가로지르는 유일한 데이터는 활성화 텐서(activation tensor) (은닉 상태 벡터)입니다.

숨겨진 차원 $d = 3584$인 모델의 경우:

FP32 기준으로는 토큰당 $14.3 \text{ KB}$입니다.
양방향으로 동적 양자화(Quantized dynamically)하여 대칭 INT8로 전송하면, 단지 **토큰당 $5.1 \text{ KB}$**에 불과합니다.

표준 기가비트 이더넷(Gigabit Ethernet)을 사용할 경우:

• LAN 홉(hop) 하나는 약 0.45 ms가 소요됩니다.
• 전체 3홉 트래버설은 약 7.88 ms가 걸립니다.

무거운 모델을 실행할 때는, 다중 헤드 어텐션(multi-head attention)과 MoE 피드포워드 네트워크(MoE feed-forward networks) 전반에 걸쳐 활성화된 파라미터들을 계산하는 데 수백 밀리초에서 몇 초가 걸립니다. 약 8 ms의 와이어 지연 시간은 전체 토큰 실행 시간의 0.2% 미만을 차지하며, 나머지 **99.8%는 순수 컴퓨팅(raw compute)**에 사용됩니다.

제로 의존성: 100% 순수 C# .NET 10

대부분의 분산 AI 스택은 수십 개의 무거운 의존성을 끌고 옵니다. CUDA 툴킷 설치, Python 런타임 환경, Torch 바이너리, 네이티브 C++ 오케스트레이션 래퍼 등이 그것입니다.

Glacier.Inference.Distributed는 순수 C#으로 .NET 10을 목표로(그리고 Native AOT가 준비되어 있으며) 처음부터 구축되었습니다:

• Python 없음. C++ 의존성 없음.
• 네트워크 파이프라인: System.IO.Pipelines를 사용하여 64바이트 정렬된 소켓 프레이밍(ClusterFrameHeader + FusedActivationHeader)을 구축했습니다.
• 메모리 불변성(Memory Invariant): 뜨거운 디코드 루프(hot decode loop) 동안 Gen 0, Gen 1, 또는 Gen 2 가비지 컬렉션이 0회이며 관리되는 힙 할당이 0바이트입니다.
• 하드웨어 가속: 계산을 분리된 GPU(Direct3D 12를 통해), 통합 APU, 또는 CPU의 멀티스레드 SIMD / AVX-512 벡터 경로로 자동 라우팅합니다.

실제 모델 슬라이싱: 크기 참고표

코디네이터가 표준 GGUF 메타데이터를 자동으로 검사하기 때문에, 제공하는 노드를 기반으로 레이어 경계와 은닉 차원(hidden dimensions)을 자동으로 계산합니다:

실습: 4노드 홈 클러스터 설정하기

1. 모든 노드에 클론하기

기계에서 .NET 10 SDK를 설치하고 리포지토리를 클론하세요:

git clone https://github.com/ian-cowley/Glacier.Inference.Distributed.git
cd Glacier.Inference.Distributed

2. 모델 다운로드

huggingface-cli나 외부 Python 도구를 사용하는 대신, Glacier는 동시 소켓을 열어 대역폭을 포화시키는 순수 C# 멀티스트림 HTTP Range 다운로더를 포함하고 있습니다:

# Qwen2-57B 다운로드
dotnet run --project src/Glacier.Inference.Distributed.Cli -c Release -- download qwen2-57b

...

3. 워커 데몬 실행

보조 기계에서 워커 데몬을 시작합니다. 각 워커는 D3D12 GPU 셰이더를 초기화할지 또는 CPU SIMD를 초기화할지 자동으로 감지합니다:

# Machine 1 (예: RTX 3060 장착된 192.168.1.108)에서:
dotnet run --project src/Glacier.Inference.Distributed.Cli -c Release -- --role worker --port 5055

...

4. 코디네이터 실행

주요 기계(예: 호스트 노트북)에서 코디네이터를 워커 엔드포인트로 지정합니다:

dotnet run --project src/Glacier.Inference.Distributed.Cli -c Release -- \
  --role coordinator \
  --stages 192.168.1.108:5055,192.168.1.101:5056,192.168.1.200:5057 \
...

코디네이터는 TCP를 통해 연결하고, 하드웨어 상태를 확인하며, 레이어 경계를 할당하고, 토큰을 콘솔로 직접 스트리밍합니다.

C# 코드에 임베딩된 분산 추론(Embedding Distributed Inference)

CLI 도구를 호출하는 대신 .NET에서 애플리케이션을 직접 구축하려는 경우, 코디네이터는 간단한 비동기 스트리밍 API를 사용하여 임베드할 수 있습니다:

using Glacier.Inference.Distributed;

var endpoints = new[]
...

실제 물리 클러스터 벤치마크

DeepSeek-R1-Distill-Qwen-14B를 사용하여 4대의 물리 기계에 걸쳐 기본 1 Gbps 스위치를 통해 실행한 경험적 테스트 결과는 다음과 같은 검증된 지표를 산출했습니다:

• Prompt Prefill Speed: 52.46 tok/s (배치 SIMD FMA를 통해 기준 대비 6.19배 빠름).
• Speculative Decode Speed: 2단계 비동기 파이프라인 오버랩을 사용하여 23.24 tok/s 달성.
• Wire Latency: 융합된 64바이트 바이너리 프레이밍을 사용하여 LAN 호핑당 0.45 ms.
• Wire Precision: 활성화 드리프트 없이 20.4 KB (FP32)에서 토큰당 **5,124 바이트 (INT8)**로 압축.
• Memory Pressure: Gen0/Gen1/Gen2 전반에 걸쳐 0 컬렉션, 핫 패스(hot path)에서 GC 스터터링이 없음을 보장.

이미 보유한 자원 재활용하기 (Repurposing What You Already Own)

대규모 AI 모델은 클라우드 API나 초고성능 엔터프라이즈 워크스테이션에만 국한될 필요가 없습니다. 가벼운(lean), 제로 할당 네트워크 프레이밍을 최신 SIMD 및 그래픽 API와 결합함으로써, 현재 로컬 네트워크에 놓여 있는 여분의 하드웨어 자원들을 모아, 그렇지 않으면 단일 데스크톱 장비에는 절대 구동될 수 없었던 모델들을 실행할 수 있습니다.

전체 소스 코드, 벤치마크 하네스 및 문서는 GitHub에서 확인하세요:
👉 github.com/ian-cowley/Glacier.Inference.Distributed