SSD에서 직접 스트리밍하는 MoE 전문가(experts)는 토큰 생성 시 Strata에 근접한 성능을 보여줍니다.
저는 온라인 모델에 의존하는 것을 줄이고 더 큰 모델들을 로컬에서 실행하려고 노력해 왔습니다. 집에는 RTX 4090 두 개가 장착된 PC(Orthrus라고 부르겠습니다. 그리스 신화 속의 두 머리를 가진 사냥개입니다)가 있고, 업무용으로는 통합 메모리 32GB를 갖춘 MacBook M5가 있습니다.
Orthrus는 아이들이 게임을 자주 하기 때문에 Windows 11에서 실행됩니다. Ubuntu로 듀얼 부팅을 했었지만, 결국 그들의 게임이 디스크 두 테라바이트의 대부분을 차지했습니다.
저는 RMD(rooms moving development: 방 이동 개발)의 열렬한 팬이기도 합니다. 아침에는 주방에서 커피를 마시며 한 시간 보내고, 사무실 책상에서는 두 시간을 보내다가, 소파로 갑니다. 고정된 데스크톱 타워는 저에게 맞지 않습니다.
저의 첫 번째 실험은 Qwen 3.8 27B 모델을 llama.app으로 Orthrus에서 실행하고, 이를 노트북을 통해 pi를 이용해 사용하는 것이었습니다. 이 모델은 코딩 작업을 수행하고, Opus와 같은 온라인 모델이 오케스트레이션(orchestration)을 담당하며, 두 번째 RTX는 Neovim에서 자동 완성(auto-completion)을 위한 FIM 모델을 실행합니다.
제가 소셜 네트워크에 이 내용을 이야기했을 때 매우 강력한 피드백을 받았습니다. 바로 Qwen3.8-Flash-Next와 Strata를 사용하라는 것이었습니다.
Strata는 Qwen과 같은 MoE(Mixture of Experts) 모델을 위한 추론 엔진입니다. 활성화된 전문가(hot experts)만 VRAM에 유지되고, 나머지는 RAM이나 심지어 디스크로 이동합니다. 전문가는 MoE 모델 가중치의 90% 이상을 차지하므로, 이처럼 180B와 같은 모델도 훨씬 적은 메모리를 가진 GPU에서 실행할 수 있습니다. 제 RTX 4090처럼요!
이것은 노트북에서도 작동하며, 저는 정확히 이런 것을 하는 블로그 게시물을 우연히 발견했습니다: 32GB Mac M4에서 Qwen3.8-Flash-Next를 사용하여 llama.cpp보다 빠른 13.5 tok/s로 실행하는 것입니다.
제가 코딩 에이전트를 사용하는 방식에 비하면 너무 느리지만, 흥미로운 호기심을 해소해 주었습니다. 전체 MoE 모델 범위가 MacBook의 통합 메모리에 들어가지 않더라도 적절한 속도로 실행될 수 있습니다.
Strata를 사용하기 전에, 저는 MoE 모델이 장착되지 않았을 때 llama.cpp, vLLM, 그리고 Transformers가 무엇을 하는지 살펴보았습니다. 세 가지 질문이 중요합니다: 전문가들은 어디에 거주하는가, 전문가 행렬 곱셈(expert matmul)은 어디서 실행되는가, 그리고 토큰마다 무엇이 이동하는가?
llama.cpp는 mmap을 사용하여 GGUF 파일을 매핑하고 전문가들을 CPU에서 유지할 수 있습니다 (--cpu-moe)
, --n-cpu-moe N
,
-ot "exps=CPU"
,
또는 --fit on
을 선택하여(for you). 이 전문가 모델들 역시 CPU에서 계산되므로, 활성화 값(activations)만 PCIe를 가로지르고 가중치(weights)는 그렇지 않습니다. 전문가 모델들이 RAM에 들어갈 때는 아주 좋습니다. 하지만 용량이 초과되면 페이지 캐시 스래싱(page cache thrashes)이 발생합니다. GPU 전문가 캐시(--moe-cache-mib)
가 막 출시되었지만, 그래프를 조각내고(2개의 분할이 토큰당 50개로 변함), 모든 것이 들어갈 때도 약 10%의 손실을 보입니다.
vLLM의 --cpu-offload-gb N은 N GB의 가중치를 고정 메모리(pinned RAM)에 배치하고, 커널(kernels)이 이를 PCIe를 통해 제자리에서 읽어옵니다. MoE 레이어의 경우, 라우팅된 전문가 모델들만 해당되지만, 캐싱되는 것은 아무것도 없습니다. 즉, 활성화 값은 토큰마다 다시 PCIe를 가로지르며, 디스크 계층(disk tier)도 존재하지 않습니다. 기본 설정에서는 오프로드된 가중치에 밀집 레이어(dense layers)가 포함되어 모든 토큰에서 읽히지만, --cpu-offload-params experts를 사용하면 전문가 모델들만 대상으로 합니다. 이는 vLLM의 대규모 배치 처리(big batches)에 적합하며, 이 경우 거의 모든 전문가 모델을 건드리게 되므로, 단일 GPU 사용자 한 명에게 적용하는 것보다 효율적입니다.
Transformers는 Accelerate(device_map="auto", offload_folder)를 통해 모듈 단위로 오프로드합니다. 후크(hooks)가 순전파(forward) 전에 가중치를 GPU로 복사합니다. MoE의 경우, 이 모듈은 레이어 전체 전문가 뱅크(expert bank)에 해당하므로, 모든 토큰이 사용하기 위해 오프로드된 각 레이어의 모든 전문가 모델을 복사해야 합니다. 캐시가 없고 라우팅 개념도 없습니다. 게다가 Mac에서는 CPU와 GPU가 동일한 메모리를 공유하므로, "CPU로 오프로드"한다고 해서 아무것도 해제되지 않습니다.
저는 충분한 RAM이 있는 A10G(24 GB)에서 Qwen3.6-35B-A3B 모델에 이 모든 것을 실행했으며, Harry Mellor가 더 나은 플래그를 사용하여 vLLM을 다시 실행했습니다:
| 엔진 | 디코드 속도 (tok/s) |
|---|
| Strata, Q8_0 | 82 - 88 |
llama.cpp, Q8_0, --fit on | 63 - 64 |
llama.cpp, BF16, --fit on | 35 - 36 |
vLLM, FP8, --cpu-offload-gb 16 --cpu-offload-params experts | 20.1 |
vLLM, FP8, 동일 플래그, --enforce-eager | 14.7 |
vLLM, FP8, --cpu-offload-gb 16 | 9.7 |
vLLM, BF16, --cpu-offload-gb 50 --cpu-offload-params experts | 7.3 |
vLLM, BF16, --cpu-offload-gb 50 | 3.3 |
| Transformers + Accelerate | 0.16 |
전문가(experts)만 오프로딩하는 것만으로 vLLM의 속도가 두 배로 빨라지며, 여기에 FP8을 적용하면 성능이 더욱 향상됩니다 (전문가당 바이트 수가 절반이 되어 GPU에 더 많은 모델을 올릴 수 있습니다). vLLM의 다른 오프로드 백엔드는 레이어 그룹을 미리 복사하는 방식이었는데, 이 경우 1 tok/s 미만의 속도를 기록했습니다.
만약 전문가들이 RAM에 들어간다면 llama.cpp가 따라오기 어렵습니다. 그렇지 않다면, 라우터(router)가 선택한 부분만을 바운디드 캐시(bounded cache)를 통해 스트리밍해야 하며, 이 과정이 충분히 빨라서 병목 현상이 Python이 아닌 SSD에서 발생하도록 하는 것이 이상적입니다. 또한 모델의 빠른 전문가 커널을 재사용하는 것도 중요합니다. 이것이 바로 32GB Mac 환경에서 Qwen3.8-Flash-Next를 구동할 때 필요한 조건이었으며, Transformers만으로는 이 기능을 기본적으로 구현하기 어려웠습니다.
Strata는 이미 노트북에서는 너무 느렸고, Transformers가 단기간에 이를 따라잡기는 어려워 보였습니다. 하지만 Accelerate 경로가 너무 달랐기 때문에, 저는 큰 모델을 대상으로 하는 제 노트북에서 Transformers 자체의 오프로딩 문제를 해결해 보고 싶었습니다. 비록 제가 작업하는 방식에는 여전히 너무 느릴 것이라는 것을 알았지만 말입니다.
모든 코드는 AI를 통해 구축되었습니다: Transformers PR, 모델별 패키지, 그리고 Metal 커널들입니다. 저의 역할은 무엇을 시도할지 선택하고, 프로파일링 결과를 읽고, 어떤 부분을 유지할지 결정하는 것이었습니다. 모든 내용은 Space: tarekziade/moe-expert-streaming에 있습니다.
저는 메모리에 들어가는 OLMoE-1B-7B로 시작하여, 일반적인 Transformers와 비교할 수 있도록 모든 토큰을 테스트했습니다.
첫 번째 버전은 전문가들을 디스크에 두고, 장치(device)에 LRU 캐시를 사용하며, 한 번에 하나의 전문가를 실행하는 Python 루프였습니다. 모든 전문가가 이미 캐싱된 상태에서 이 방식은 10.1 tok/s의 속도를 기록했습니다. 반면 일반적인 Transformers는 약 32 tok/s였습니다. I/O 자체는 문제가 없었지만, 제 루프 구조에 문제가 있었습니다. 일반적인 Transformers는 레이어의 모든 전문가를 하나의 커널로 실행하는 grouped_mm을 사용합니다.
이 프로젝트의 핵심 아이디어이자 해결책은 캐시를 **슬롯 풀(slot pool)**로 변환하는 것이었습니다. 이는 모든 레이어가 공유하는 사전 할당된 장치 텐서와, 전문가 ID에서 슬롯으로 연결되는 레이어별 테이블로 구성됩니다. 라우터의 전문가 ID를 슬롯으로 재매핑하면, 이 풀은 일반적인 전문가 뱅크처럼 보이며, 따라서 grouped_mm이 별도의 커스텀 전문가 행렬 곱셈(expert matmul) 없이 그대로 실행될 수 있게 됩니다. 그 결과 속도는 34.6 tok/s에 도달했으며, 이는 일반적인 Transformers의 38.1 tok/s와 비교되었습니다.
저는 이후 이 독립형 로더를 from_pretrained 옵션으로 통합했습니다.
, in
huggingface/transformers#50717.
이를 사용하려면 해당 PR에서 Transformers를 설치하세요:
pip install "git+https://github.com/huggingface/transformers.git@refs/pull/50717/head"
그다음, OLMoE에서 실제 목표인 Qwen3.8-Flash-Next로 넘어가겠습니다:
path = snapshot_download("tarekziade/Qwen3.8-Flash-Next-expert-streaming")
model = AutoModelForCausalLM.from_pretrained(
f"{path}/dense",
...
해당 저장소에는 프로젝트의 변환 스크립트 결과물, 즉 밀집 가중치(dense weights), 3비트로 양자화된 전문가(experts), 그리고 n-gram 테이블이 포함되어 있습니다.
전문가 매핑을 "디스크"로 처리하기
이는 Accelerate의 오프로드 방식 대신 스트리밍 경로를 따릅니다. 로더는 해당 텐서를 건너뛰고 MoE 레이어는 오프로드 구현으로 전환됩니다. 누락된 값들은 8개의 I/O 스레드가 각 전문가당 하나의 연속적인 읽기(contiguous read)로 읽습니다. 다음 두 개의 레이어의 라우터(routers)는 현재 은닉 상태(current hidden states)를 사용하여 어떤 전문가들을 미리 가져올지 추측합니다. 전문가는 오프라인으로 양자화될 수 있어 읽기가 더 작아집니다. 이는 표준 전문가 레이아웃을 가진 MoE 모델에 작동합니다.
API는 여전히 Transformers 유지보수 담당자들과 논의 중입니다. device_map 형식은 그 과정에서 나왔으며, 양자화된 전문가는 자체 옵션보다는 #50245의 레이어별 양자화 계획을 따를 가능성이 높습니다.
Qwen3.8-Flash-Next는 512개의 전문가(활성 10개)로 구성된 48개의 레이어를 가지며, FP8 기준 121 GB에 달합니다. 이를 스트리밍하는 것만으로는 충분하지 않습니다. 별도의 디스크 경로가 필요한 51 GB의 n-gram 임베딩 테이블도 존재하기 때문입니다. 따라서:
- 3비트로 양자화된 전문가: 디스크에서 49 GB, 장치에 캐시됨 12 GiB
- 밀집 레이어(dense layers): 8비트 (~5.4 GB, BF16 대비 퍼플렉서티 +0.2%)
- n-gram 테이블은 디스크에 유지되며 필요할 때 행이 읽힙니다.
변환 과정에는 약 5시간이 소요됩니다. 로딩 후에는 약 18 GiB를 사용하며, 6K 프롬프트의 경우 최대 25.4 GiB까지 치솟습니다. 이는 거의 한계치에 가깝습니다. 브라우저를 닫거나 macOS가 스와핑(swapping)을 시작해야 할 정도입니다.
모델별 비트(n-gram 테이블, Metal 커널 등)는 PR 위에 moe-expert-streaming이라는 작은 패키지에 존재합니다. 첫 번째 버전은 약 10 tok/s의 속도로 작동했습니다.
이후 동일한 M5에서 같은 프롬프트를 사용하여 Strata를 설치했습니다:
| Transformers | Strata | Gap | |
|---|
| Decode, 200 tokens | 10.0 tok/s | 14.8 | 1.5x |
| ... | | | |
| Strata 0.1.60은 IQ3_XXS 전문가(experts)를 사용했습니다. 두 모델 모두 greedy 방식으로 실행했으며, thinking, MTP 및 speculative drafts는 비활성화했고, 1,024 토큰의 prefill 청크를 사용했습니다. 전체 설정과 원본 결과는 Space의 상세 페이지에서 확인할 수 있습니다. | | | |
또한 MLX를 통해 Apple GPU에서 vllm-metal, vLLM을 시도했는데, 이는 최근 전문가 오프로딩(expert offloading) 기능을 추가했습니다. 이 시스템은 본 프로젝트처럼 제한된 캐시(bounded cache)를 통해 라우팅된 전문가들을 스트리밍합니다. 하지만 위에서 언급한 n-gram 문제 때문에 32GB RAM으로는 Qwen3.8-Flash-Next 모델을 실행할 수 없습니다: 오직 전문가들만 스트리밍되며, n-gram 테이블은 메모리에 남아있기 때문입니다. 이로 인해 MLX 체크포인트가 저장된 Hub의 32GB 중 약 5GB는 밀집 레이어(dense layers)와 모든 전문가 캐시를 제외한 공간을 차지합니다.
대부분의 시간이 전문가 처리에는 사용되지 않았습니다. 도움이 된 부분은 다음과 같습니다:
GPU 작업을 초기에 커밋하기. PyTorch on MPS는 다음 동기화(sync)까지 작은 커널(kernels)들을 유지하므로, Python이 작업하는 동안 GPU가 유휴 상태였습니다. 각 블록 후에 강제로 커밋을 수행하자 +10%의 성능 향상을 얻었습니다. 이는 PyTorch에서 반드시 수정되어야 할 부분입니다.Metal 커널 macOS에서 빠른 경로(fast path)가 없는 부분에 적용되었습니다: Gated DeltaNet과 하이퍼 연결(hyper-connections) 등이 해당됩니다.Strata 자체 가중치(weights). 저는 Strata의 GGUF 가중치로 전환하여, 토큰당 밀집 가중치 트래픽을 5.4 GB에서 3.9 GB로 줄였고, 개별 전문가 크기를 2.15 MB에서 1.75 MB로 줄였습니다. 또한 각 전문가 크기에 대한 별도의 캐시 풀(cache pool)을 사용했습니다.Prefill 시에는 더 큰 청크를 사용하여 68 tok/s에서 약 228 tok/s까지 성능이 향상되었으며, 현재 레이어를 계산하는 동안 다음 레이어의 전문가들을 읽어왔습니다.긴 문서: 인덱서가 선택한 블록에 대한 어텐션만 사용하고, 토큰마다 복사되는 대신 제자리(in place)에서 증가하는 KV 캐시를 사용했습니다.누락된 정보(Misses): Strata는 누락 정보를 숨기지 않고 제가 하는 것처럼 기다리며, 어떤 캐시 정책도 LRU보다 크게 앞서지 못했습니다. 도움이 된 것은 SSD가 유휴 상태일 수 있는 상황에서도 레이어당 단 하나의 추측 전문가만 읽어오는 것이었습니다.
현재 실행되는 MoE 레이어의 예시를 보여드립니다:
이 결과는 동일한 M5 장비와 동일한 프롬프트를 사용하여 최적화를 거친 최종 결과입니다:
| Transformers | Strata | Gap | |
|---|
| Decode, 200 tokens | 13.9 tok/s | 14.8 | 1.06x |
| ... | | | |
| 이것은 Transformers를 통해 구현된 결과로, 짧은 디코딩(decode)에서는 Strata보다 약 6% 뒤처지며, 프리필(prefill) 속도는 약간 빠릅니다. | | | |
남아있는 대부분의 시간은 호스트 왕복(host round trips)에 사용되며, 토큰당 약 10ms가 소요됩니다. 동기화(sync) 후 깨어나는 데 걸리는 시간은 그중 겨우 약 1ms입니다. 나머지 시간은 Python이 다음 레이어를 큐잉하는 동안 GPU가 유휴 상태로 있는 것입니다. Strata는 전체 토큰의 작업을 미리 큐잉하며, 호스트가 전문가(experts)를 읽는 동안 GPU는 각 레이어에서 Metal 공유 이벤트(Metal shared event)를 기다립니다. PyTorch는 이를 노출하지 않습니다. 저는 CPU가 쓰는 플래그에 대해 커널을 스핀(spinning)시키도록 위장해 보았지만, GPU가 쓰기 신호를 감지하는 데 1초에서 영원히 걸리기도 했습니다. 진정한 해결책은 PyTorch의 MPS 스트림(MPS stream)에 대한 네이티브 연산자(native op)여야 하지만, 교착 상태(hangs) 위험이 있어 제가 구현하지 않았습니다.
이 속도는 약 14 tok/s로, Strata에 근접하지만 제가 코딩 에이전트(coding agents)를 사용하는 방식에는 여전히 너무 느립니다. Orthrus가 실제 작업을 수행하고 있습니다.
Transformers가 Strata를 이기지는 못했으며, 나머지 약 6%의 격차를 줄이려면 스택 전반에 걸친 더 깊은 변경이 필요하며, 이는 PyTorch가 현재 제공하지 않는 레이어별 동기화(per-layer sync) 제어권부터 시작됩니다. 흥미로운 점은 어떻게 그토록 근접했는지입니다: 라우팅된 전문가(routed experts)만 스트리밍하고, grouped_mm이 그대로 실행하는 경계가 있는 캐시(bounded cache), 그리고 몇 가지 목표 지향적인 Metal 커널을 사용했습니다. 이 프로젝트에는 C++ 확장 기능이 없습니다. 단지 Python과 torch.mps.compile_shader를 사용하여 런타임에 컴파일된 Metal 커널, 그리고 Hub에서 가져온 사전 구축된 커널만 있습니다.
이 실험을 위해 작성된 모든 Metal 커널은 이제 Hub에 게시되었으며, 프로젝트는 그곳에서 이를 로드합니다.
하지만 Strata를 능가하는 것이 유일한 목표는 아니었습니다. 이것을 구축하는 과정은 시스템 관점에서 MoE와 LLM이 어떻게 작동하는지 배울 수 있는 좋은 방법이었습니다. 즉, 라우팅(routing)이 실제로 얼마나 희소한지, 전문가 캐시(expert cache)가 얼마나 많은 이점을 제공하는지, 토큰당 메모리 대역폭(memory bandwidth)이 어디에 사용되는지, 그리고 호스트와 GPU가 서로를 기다리는 데 얼마나 시간을 보내는지 등을 알 수 있었습니다. Transformers는 이 모든 것을 모듈별로 쉽게 분석할 수 있게 해줍니다.
범용 전문가 스트리밍 구현은 huggingface/transformers#50717에 있으며, 벤치마크 결과는 Space에 있습니다. 접근 방식과 API에 대한 피드백을 환영합니다.
훌륭한 피드백을 제공해 준 Pedro, Lysandre, Arthur에게 감사드리며, vLLM 테스트를 도와준 Harry에게도 감사합니다.
마지막으로, Strata를 만들어준 Niko Veit에게 감사를 전합니다. Strata는 소비자 하드웨어에서 전문가 스트리밍(expert streaming)으로 가능한 수준을 제시했으며, 그 수치를 목표로 삼은 것이 이 작업을 최대한 끌어올리는 원동력이었습니다.