아마 여러분도 벤치마크를 보셨을 것입니다 — 4배 더 빠르고, 6배 더 많은 실수, 그리고 r/LocalLLaMA의 273개 투표가 달린 스레드들 말이죠. DiffusionGemma는 올해 등장한 가장 흥미로운 이미지 생성 모델입니다. 하지만 HuggingFace 노트북 외부에서 실제로 실행하는 것은 이야기가 다릅니다.

2026년 7월 현재, 모든 플랫폼의 솔직한 상태는 다음과 같습니다.

모든 것을 가로막고 있는 단 하나의 PR

Ollama, LM Studio, 그리고 네이티브 GGUF 지원은 모두 단 하나의 풀 리퀘스트(Pull Request, PR): llama.cpp #24423에 의존하고 있습니다. 이 PR은 6월 10일부터 열려 있었으며, 처음에는 danielhanchen의 개념 증명(Proof-of-concept)이었으나 현재는 병합 가능한 상태(충돌 해결됨)입니다. 지연되는 이유는 설계 방향 때문입니다 — 한 유지 관리자는 모델별 구현보다는 일반적인 디퓨전 서버(Diffusion server)를 원하고 있습니다. 예상 완료 시간(ETA)은 없습니다.

현재 작동하는 것

vLLM (권장)

vLLM 팀의 출시 당일 지원(Day-zero support)이 이루어졌습니다. 단일 GPU에서 즉시 작동합니다. 멀티 GPU(Multi-GPU)는 6월 26일 PR #46177이 반영되기 전까지는 작동하지 않았으나, 이제 텐서 병렬화(Tensor parallelism)가 메인(Main)에 포함되었습니다.

pip install vllm
vllm serve RedHatAI/diffusiongemma-26B-A4B --tensor-parallel-size 2

llama.cpp (PR 브랜치에서 빌드)

아직 메인라인(Mainline)에는 포함되지 않았습니다. PR 브랜치를 가져와서 CUDA로 빌드해야 합니다.

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
git fetch origin pull/24423/head:diffusion-gemma
...

Q4_K_M GGUF가 HuggingFace에서 사용 가능합니다. 작동은 하지만, 빌드 문제에 대해서는 스스로 해결해야 합니다 — 메인에 반영되기 전까지는 보장할 수 없습니다.

Ollama (브릿지 우회 방법)

아직 네이티브 ollama pull diffusiongemma는 지원되지 않습니다. 브릿지 방식: PR 브랜치에서 llama.cpp를 빌드하고, GGUF를 가리키는 커스텀 Modelfile을 생성한 다음, Ollama의 가져오기(Import) 메커니즘을 통해 서비스하는 방식입니다. 투박하지만 기능은 합니다. 전체 단계는 diffrun.dev/ollama에서 확인할 수 있습니다.

작동하지 않는 것

• LM Studio — #24423에서 차단됨. 엔진이 llama.cpp 메인라인 (mainline)에 포함될 때까지 번들링할 수 없음
• vLLM에서의 GGUF — PR #46454가 DiffusionGemma를 위한 GGUF 결합 임베딩 (tied embedding) 로딩 문제를 해결함. 병합 가능(mergeable)한 상태이나 아직 병합되지는 않음. 현재는 BF16 가중치를 사용하십시오.
• nvfp4 양자화 (quantization) — vLLM의 nvfp4 MoE 커널이 DiffusionGemma의 전문가 중간 크기 (expert intermediate size, 128의 배수가 아님)를 거부함. 별개의 이슈이며 vLLM 리포지토리(repo)에서 추적 중

모든 것을 바꾸는 신호

#24423이 병합되면 도미노가 빠르게 쓰러질 것입니다. Ollama는 며칠 내로 엔진 업데이트를 출시하고, LM Studio가 그 뒤를 따르며, 네이티브 GGUF 변환 기능이 llama.cpp 메인라인에 도입될 것입니다. "diffusiongemma ollama" 및 "diffusiongemma lm studio"에 대한 검색량이 하룻밤 사이에 급증할 것입니다.

저는 diffrun.dev/status에서 세 가지 PR을 매일 추적하고 있으며, diffrun.dev에서 각 플랫폼별 단계별 설정 가이드를 제공합니다.