z-lab/dflash

요약

DFlash는 Speculative Decoding을 위해 설계된 경량 블록 확산(Block Diffusion) 모델입니다. 이 기술은 LLM의 추론 속도를 획기적으로 높이면서도 높은 품질을 유지할 수 있게 합니다. vLLM, SGLang 등 주요 서빙 프레임워크를 지원하며, Qwen3.5-27B부터 LLaMA-3.1-8B까지 다양한 모델에 적용 가능합니다. 개발자는 이를 통해 병렬 드래프팅(parallel drafting)을 구현하여 대규모 언어 모델의 효율적인 추론 파이프라인을 구축할 수 있습니다.

핵심 포인트

• DFlash는 Speculative Decoding을 위한 블록 확산 (Block Diffusion) 모델로, LLM의 병렬 드래프팅(parallel drafting)을 통해 고효율/고품질 추론을 가능하게 합니다.
• vLLM, SGLang, Transformers, MLX 등 주요 백엔드를 지원하며, Qwen3.5-27B 및 LLaMA-3.1-8B 등 최신 모델에 즉시 적용할 수 있는 드래프트 모델을 제공합니다.
• 사용자는 각 프레임워크별로 전용 설치 명령(예: `uv pip install -e
• [transformers]
• ` 또는 vLLM의 nightly build)을 통해 DFlash 기능을 통합할 수 있습니다.
• 추론 속도 최적화를 위해 SGLang에서는 `speculative-draft-model-path`와 같은 파라미터를 사용하여 드래프트 모델 경로를 명시적으로 지정해야 합니다.