적응형 윈도잉을 이용한 추측적 디코딩(Speculative Decoding)을 위한 성능 중심 정책 최적화

요약

본 논문은 LLM 추론 속도를 높이는 Speculative Decoding 기법을 개선하기 위해, 초안 모델(draft model)의 정책 최적화 방식을 제안합니다. 기존 방법들이 토큰 레벨 지도 학습에 의존했던 한계를 극복하고, 윈도우 레벨에서 성능 중심의 최적화를 수행하는 강화 학습 프레임워크인 PPOW를 제시했습니다. PPOW는 적응형 윈도잉과 다양한 보상 함수를 결합하여 추측적 디코딩 효율성을 크게 향상시켰습니다.

핵심 포인트

• Speculative Decoding은 초안 모델을 이용해 LLM 추론 속도를 가속화하는 기술이다.
• 기존의 초안 작성기 최적화는 윈도우 레벨 특성에도 불구하고 토큰 레벨 지도 학습에 머물러 있었다.
• 제안된 PPOW(Performance-Driven Policy Optimization with Adaptive Windowing)는 강화 학습을 통해 윈도우 레벨에서 정책을 최적화한다.
• PPOW는 적응형 발산 인식 윈도잉, 비용 인식 가속화 보상 등을 결합하여 효율성을 높인다.
• 실험 결과, PPOW는 평균 수락 길이와 가속화 측면에서 기존 대비 높은 성능 향상을 입증했다.