병렬 초안 작성기(Parallel drafters)는 단일 순방향 패스(single forward pass)에서 전체 블록의 초안 토큰을 제안함으로써 LLM 디코딩 속도를 가속화하며, 이는 LLM 서비스에 매력적입니다. 최근 시스템들은 좋은 처리량(goodput, 즉 초당 수용되는 토큰 수)을 최적화하는데, 거부된 초안은 다른 요청의 컴퓨팅 자원을 빼앗기 때문입니다. 그러나 이러한 시스템들은 오직 몇 개의 토큰만 검증할지 제어할 뿐이므로, 모든 요청은 여전히 전체 블록을 초안 작성합니다. 높은 서비스 부하에서는 초안 작성이 단계 시간(step time)의 최대 40%를 소비하며, 이 중 대다수는 한 번도 검증되지 않아 버려집니다. 그럼에도 불구하고, 자기회귀적 초안 작성기(autoregressive drafters)의 초안 길이 제어는 병렬 초안 작성기로 이어지지 않습니다. 왜냐하면 병렬 초안 작성기는 단일 패스 전에 자신의 길이에 전념하기 때문입니다. 더욱이, 배치 전체에 걸쳐 초안 길이와 검증 길이가 결합되어 있으므로, 매 단계마다 이들을 공동으로 선택해야 하며 동시에 의사결정 과정이 계산적으로 저렴해야 합니다.
본 논문에서는 LLM 서비스에서 요청별로 초안 및 검증 예산을 공동 할당하는 설계인 작업 보존형 추측(work-conserving speculation, WCS)을 제안하고, ForeSpark를 그 프로토타입으로 제시합니다. ForeSpark는 다음 세 가지 요소를 통해 WCS를 실현합니다: (i) 타겟 모델의 문맥 특징으로부터 모든 후보 길이에 대한 수용 가능성을 예측하는 문맥 인식 사전 초안 추정기(context-aware pre-draft estimator), (ii) 전역 정렬을 통해 두 길이 모두를 선택하는 경량 공동 초안-검증 스케줄러(lightweight joint draft-verify scheduler), 그리고 (iii) 가장 유망한 토큰에 검증 자원을 사용하는 초안 후 예산 분배(post-draft budget distribution). vLLM에 구현된 ForeSpark는 최신 DSpark 대비 최대 1.77배, 그리고 매칭된 요청당 생성률에서 자기회귀적 디코딩 대비 2.49배의 처리량 향상을 달성하며 출력 분포를 변경하지 않습니다. 또한, 지연 시간 서비스 수준 목표(SLOs) 하에서 DSpark보다 높은 요청률인 최대 1.51배까지 견딜 수 있습니다.