우리는 인과적 병렬 트리 초안 작성(causal parallel tree drafting)을 통해 초안 작성 비용(drafting cost)과 초안 작성 품질(drafting quality)을 공동 최적화함으로써, 투기적 디코딩(speculative decoding)이 LLM 생성 지연 시간(latency)을 극한까지 밀어붙일 수 있음을 발견했습니다.

JetSpec은 무손실(lossless) 상태를 유지하면서 MATH-500에서 최대 9.64배, 개방형 채팅(open-ended chat)에서 4.58배의 엔드 투 엔드(end-to-end) 속도 향상을 달성합니다. CUDA 그래프 및 커널 최적화(kernel optimizations)를 통해, JetSpec은 단일 B200 GPU에서 약 1000 TPS에 달하는 속도로 더욱 전환됩니다. ⚡️

기존의 투기적 디코딩(SD)은 딜레마에 직면해 있습니다:

• AR 스타일의 초안 헤드(draft heads)는 품질을 위해 인과성(causality)을 유지하지만, 초안 작성 비용이 트리의 깊이에 따라 증가합니다.
• 블록 확산(Block-diffusion) 스타일의 헤드는 한 번의 패스(pass)로 저렴하게 초안을 작성하지만, 브랜치(branches)가 종종 독립적으로 점수가 매겨지기 때문에 더 깊은 경로들이 서로 모순될 수 있습니다.

JetSpec은 단 한 번의 패스로 인과성을 보존하는 트리를 작성함으로써 이러한 속도를 가능하게 합니다. 🚀🌳

데모와 구축 방법은 저희 프로젝트 페이지를 확인하세요 👇
https://jetspec-project.github.io/jetspec-web/
💻 코드: https://github.com/hao-ai-lab/JetSpec
🌟 블로그: https://haoailab.com/blogs/parallel-tree-decoding/

• DFlash 및 AR 베이스라인과 JetSpec 비교.
• 추론 엔진(Inference engine)을 통해 평균 약 1000 TPS를 구현하는 JetSpec.
• 엔드 투 엔드(End-to-end) 속도 향상 비교.

submitted by /u/No_Yogurtcloset_7050
[link] [comments]