JetSpec, 추측적 디코딩 (Speculative Decoding)의 확장 한계를 돌파하다

요약

JetSpec은 인과적 병렬 트리 초안 작성(Causal Parallel Tree Drafting)을 통해 추측적 디코딩의 한계를 극복한 새로운 방법론입니다. 단 한 번의 순방향 패스로 토큰 트리를 생성하여 수학 분야에서 최대 9.64배의 속도 향상을 달성했습니다.

핵심 포인트

• 인과적 병렬 트리 초안 작성 방법론 도입
• 수학 분야에서 최대 9.64배 속도 향상 달성
• 채팅 분야에서 최대 4.58배 속도 향상 달성
• 단 한 번의 순방향 패스로 토큰 트리 초안 작성 및 검증