NarrowSpec: 추론 디코딩(Speculative Decoding)에서 드래프트 히든 너비는 타겟과 일치할 필요가 없다
요약
본 기사는 추론 디코딩(Speculative Decoding) 과정에서 드래프트 모델의 히든 너비가 대상 모델과 일치할 필요가 없음을 제시합니다. DFlash와 EAGLE-3를 활용하여 B200 및 DGX Spark 환경에서 테스트한 결과, 드래프트 너비를 절반 또는 4분의 1로 줄여도 성능 저하 없이 상당한 속도 향상(최대 1.44배)을 달성할 수 있음을 입증했습니다.
핵심 포인트
- Speculative Decoding은 LLM의 생성 속도를 높이는 핵심 기술입니다.
- 드래프트 모델의 히든 너비는 대상 모델과 일치하지 않아도 됩니다.
- 너비를 절반 또는 4분의 1로 줄여도 성능 저하 없이 속도 향상이 가능합니다.
- B200 및 DGX Spark 환경에서 최대 1.44배에 달하는 디코딩 속도 개선이 관찰되었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기