추측 디코딩(Speculative decoding)은 경량 드래프터(drafter)가 토큰을 제안하고, 타겟 모델(target model)이 이를 병렬로 검증함으로써 생성 속도를 가속화합니다. DFlash와 같은 확산 드래프터(Diffusion drafters)는 단일 순방향 패스(forward pass)에서 전체 토큰 블록을 제안하지만, 주로 텍스트 전용 작업에 초점을 맞추어 멀티모달 드래프팅(multimodal drafting) 분야가 충분히 탐구되지 못했습니다. 이 설정을 연구하기 위해, 우리는 시각적 입력 유무에 따른 다음 토큰 분포의 KL 발산(KL divergence)을 기반으로 한 토큰 수준의 시각 의존도 측정 지표를 처음 도입합니다. 그 결과, 수용률(acceptance rates)이 가장 낮은 시각 의존도 사분위수에서는 46%였던 것이 가장 높은 사분위수에서는 22%로 감소하는 것을 발견했으며, 이러한 격차는 멀티모달 학습 후에도 지속되었습니다. 이 관찰에 동기 부여를 받아, 우리는 MMFlash라는 간단하고 효과적인 프레임워크를 제안합니다. 이는 드래프터가 예측을 잘못한 시각 의존적 토큰의 가중치를 적응적으로 높여줍니다(adaptively upweights). 긴 비디오 입력의 경우, MMFlash는 중복되는 어텐션 계산을 줄이고 드래프팅 품질을 개선하기 위해 희소 어텐션(sparse attention)을 추가로 사용합니다. 다양한 멀티모달 벤치마크에서 MMFlash는 최대 3.58배의 손실 없는 디코딩 속도 향상을 달성하며, 각각 EAGLE-3와 DFlash보다 최대 195.4% 및 17.1% 더 우수합니다.
논문: https://arxiv.org/abs/2611.18482 PDF: https://arxiv.org/pdf/2611.18482 GitHub: https://github.com/fscdc/MMFlash HuggingFace: https://huggingface.co/collections/FSCCS/mmflash
⭐ 업데이트 [11.2026]: Qwen3.5-4B, Qwen3.5-9B, Qwen3.8-27B 및 Gemma 4 E4B-it에 대한 코드와 MMFlash 드래프트가 공개되었습니다.
💪 하이라이트: VLM을 위한 확산 드래프팅:
MMFlash는 블록-확산 드래프팅(block-diffusion drafting)을 비전-언어 모델에 가져옵니다. 드래프터는 단일 순방향 패스에서 16개 토큰의 블록을 제안하고, 타겟은 이 블록을 한 번에 검증하므로 디코딩이 손실 없이 유지되면서 Qwen3.5-4B/9B에서는 3.0배, Qwen3.8-27B에서는 최대 4.7배 더 빠르게 실행됩니다 (H200 1개, 배치 크기 1, 그리디).
비전 프리 드래프터: 드래프터는 이미지나 비디오를 재인코딩하지 않습니다.
시각적 컨텍스트가 이미 융합된 타겟의 은닉 상태(hidden states)를 읽기 때문에, 시각 토큰 수에 따라 비용이 증가하지 않습니다.
시각 의존성 인식 훈련 (Visual-dependence-aware training): DFlash 드래프터는 이미지에 의존하는 토큰에서 수용률이 급격히 떨어지며, 대부분 거부된 블록은 그 지점에서 깨집니다. MMFlash는 각 학습 토큰의 타겟에 대한 시각적 의존성을 측정하고, 이 토큰들에 드래프터 손실(drafter's loss)을 집중시킵니다.
장시간 비디오 (Long videos): 희소한 드래프트 컨텍스트(어텐션 싱크, 텍스트, 스트라이디드 시각 토큰 및 최근 창)를 사용하여 40k 토큰짜리 비디오 프롬프트에서도 저렴하게 드래프팅을 유지합니다. 드래프터는 동일한 패턴으로 훈련되고 서비스됩니다.
드롭인 서비스 (Drop-in serving): 출시된 드래프트는 기본 SGLang 및 vLLM (DFLASH)과 함께 실행되며, 패치할 필요가 없습니다 (SGLang 0.5.23 및 vLLM 0.33.0으로 테스트됨).
| 💻 모델 | Model | Target model | Draft size | Block size | Link |
|---|
| 🤖 Qwen3.5-4B-MMFlash | Qwen/Qwen3.5-4B | 537M | 16 | Hugging Face | |
| 🤖 Qwen3.5-9B-MMFlash | Qwen/Qwen3.5-9B | 1.05B | 16 | Hugging Face | |
| 🤖 Qwen3.8-27B-MMFlash | Qwen/Qwen3.8-27B | 1.73B | 16 | Hugging Face | |
| 🤖 Gemma4-E4B-it-MMFlash | google/gemma-4-E4B-it | 537M | 16 | Hugging Face | |
이 드래프트들은 독립적인 언어 모델이 아닙니다: 각각은 추측 디코딩(speculative-decoding) 서버에서 타겟과 쌍을 이루어 사용됩니다. 모두 MMFlash 컬렉션에 포함되어 있으며, 모든 모델 카드에는 서비스 명령어와 벤치마크별 결과가 있습니다.
제출자: /u/pmttyji [link] [comments]