LLM 서빙에서의 Speculative Decoding을 위한 해석 가능한 지연 시간 모델

요약

본 연구는 LLM 서빙 환경에서 Speculative Decoding (SD)의 동작을 분석하고 이를 위한 해석 가능한 지연 시간 모델을 개발했습니다. 이 모델은 Little's Law를 활용하여 요청률로부터 유효 배치 크기를 추론하며, 다양한 부하 조건 하에서의 지연 시간을 예측합니다. 연구진은 vLLM을 이용한 광범위한 측정을 통해 이 모델의 정확성을 검증하고, 서버 부하 증가에 따른 속도 향상 감소 원인과 주요 구성 요소(초안 길이, 수락률 등)가 지연 시간에 미치는 영향을 규명했습니다.

핵심 포인트

• LLM 서빙 환경에서의 Speculative Decoding (SD) 동작을 이해하기 위한 해석 가능한 지연 시간 모델을 제시함.
• Little's Law를 활용하여 요청률로부터 유효 배치 크기를 추론하고, 이를 통해 LLM 서비스의 부하 의존적 특성을 분석함.
• 모델은 서버 부하 증가에 따라 속도 향상이 감소하는 현상을 설명하며, SD 구성 요소(초안 길이, 수락률 등)가 지연 시간에 미치는 영향을 정량화함.
• 제시된 프레임워크는 Mixture of Experts (MoE) 모델로 확장 가능하여 희소 전문가 활성화의 서비스 비용 변화를 분석할 수 있게 함.