[논문] DSpine: 병렬 초안 작성 및 깊이 전반의 조건화를 통한 인접 인과 주입 방식의 추측 디코딩

병렬 추측 초안 작성(Parallel speculative drafting)은 하나의 백본 패스에서 여러 후보를 생성하지만, 독립적인 토큰 선택은 일관성 없는 연속성을 만들어 수락된 접두사(accepted prefix)를 짧게 만듭니다. 기존 방법들은 주로 백본 이후에 경량 모듈로 조건부 디코딩을 남겨두어, 선행자 정보의 흐름이 후속자에게 제한됩니다.

저희는 DFlash 분석을 통해 초기 위치들이 이미 얕은 레이어에서 복구 가능한 예측을 형성하며, 정확한 인접 선행자가 후속자들이 더 일찍 진입할 때 더 많은 도움을 준다는 것을 확인했습니다. 따라서 저희는 백본 전체에 걸쳐 인과 조건 주입(causal conditioning injection)이 이루어지는 드래프터인 DSpine을 제안합니다: 모든 레이어에서 게이티드 인접 주입(gated adjacent injection)은 각 선행자의 예측된 특징을 그 후속자에게 기록하여, 인과 조건 사슬이 네트워크 깊이에 걸쳐 전개되면서 모든 위치가 병렬로 업데이트됩니다.

타겟 모델의 출력 임베딩에서 구축된 통합 전이 공간(unified transfer space)은 레이어별 주입을 선행자 조건부 디코딩과 통일시키고, 레이어별 출력 임베딩 감독(output-embedding supervision)은 얕은 레이어에서 예측된 특징 형성을 촉진합니다. 융합 커널(fused kernels)과 전환 캐시(transition cache)는 이 두 가지를 SGLang 내에서 효율적으로 병렬 실행합니다.

DSpine은 일곱 개의 수학, 코드 및 채팅 벤치마크 전반에 걸쳐 Qwen3-4B와 Qwen3-8B 모두에서 두 온도(temperature) 모두 가장 긴 수락 길이를 달성합니다. Qwen3-8B의 온도 0에서는, 일곱 개 벤치마크 평균을 DFlash의 3.77에서 4.82(+27.8%)로 높였으며, SGLang 서빙 테스트에서는 DFlash보다 평균적으로 23.3% 높은 처리량(throughput)을 제공합니다.

arXiv : https://arxiv.org/abs/2609.36173 PDF : https://arxiv.org/pdf/2609.36173 GitHub : https://github.com/Tencent/DSpine HuggingFace : https://huggingface.co/collections/tencent/dspine Project : https://dspine-project.github.io/ submitted by /u/pmttyji [link] [comments]