모델 내부 라우팅(Intra-model routing)은 가장 강력한 추측적 디코딩(Speculative decoding) 파이프라인과 비교했을 때 토큰 생성 지연 시간(latency)을 약 3분의 1에서 거의 80%까지 줄여줍니다. 이러한 속도 향상은 초안 토큰(draft token)을 즉시 수락할 수 있는지, 가벼운 "슬림(slim)" 검증기(verifier)가 필요한지, 아니면 전체 모델로 되돌아가야 하는지를 결정하는 얇은 라우팅 계층(routing layer)을 통해 이루어집니다.

추측적 디코딩(Speculative decoding)은 오랫동안 이진 초안-검증 루프(binary draft-verify loop)에 의존해 왔습니다. 즉, 아주 작은 초안 모델(draft model)이 토큰을 제안하면, 무거운 검증기(verifier)가 이를 수락하거나 처음부터 다시 계산하는 방식입니다. 이러한 전부 아니면 전무(all-or-nothing) 방식은 신뢰도가 낮은 모든 토큰에 대해 검증기를 실행하도록 강제하며, 더 저렴한 확인 절차만으로도 충분한 경우에도 토큰당 비용을 부풀립니다.

VIA-SD의 계층적 검증(hierarchical verification)은 일반적인 추측적 디코딩(vanilla speculative decoding)에 비해 거부율(rejection rates)을 30%~45%까지 대폭 낮추어, 전체 검증기를 트리거하는 토큰의 비율을 줄입니다 [1]. 중간 정도의 신뢰도를 가진 토큰을 슬림한 서브모델(slim submodel)로 라우팅함으로써, 시스템은 시퀀스의 상당 부분에 대해 비용이 많이 드는 전체 모델 패스(full-model pass)를 피할 수 있습니다.

감소된 거부 부하(rejection load)는 가장 강력한 캐스케이드 베이스라인(cascade baselines) 대비 0.3x~0.8x의 일관된 속도 향상으로 이어집니다 [1]. 실제로 이는 최종 품질에 미치는 변화를 최소화하면서, 정확도를 유지하는 동시에 엔드 투 엔드(end-to-end) 생성 시 30%~80%의 지연 시간 감소를 의미합니다.

초안을 생성하지 않는 디코딩(non-drafting decoding)과 벤치마크를 비교했을 때, 다계층 파이프라인(multi-tier pipeline)은 2.5x~3.3x 더 빠른 생성 속도에 도달합니다 [1]. 이러한 이득은 슬림 검증기(slim verifier)가 중간 정도의 신뢰도를 가진 토큰의 대부분을 처리하는 번역 및 요약 작업에서 특히 두드러집니다.

이 논문은 단 네 가지의 대표적인 작업과 소수의 모델 제품군(model families)만을 평가하였기에, 초거대 LLM(Large Language Models)이나 매우 퇴보적인(degenerate) 프롬프트에서 라우팅 계층(routing layer)이 어떻게 작동하는지는 여전히 미지수로 남아 있습니다. 또한, 라우팅 결정 자체에 약간의 오버헤드(overhead)가 발생하며, 슬림 검증기(slim verifier)를 각 모델 크기에 맞춰 여전히 인스턴스화(instantiate)해야 하므로 이기종 서빙 플릿(heterogeneous serving fleets)에서의 배포를 복잡하게 만들 수 있습니다.

만약 보고된 이득이 더 넓은 워크로드(workloads) 전반에 걸쳐 유지된다면, 자연스러운 다음 단계는 기존 추론 서버(inference servers)에 라우팅 모듈을 이식하고 실제 트래픽에 대해 자체적인 지연 시간(latency) 벤치마크를 다시 실행해 보는 것입니다. 이 아키텍처는 기본 모델을 재학습(retraining)하지 않고도 즉각적인 속도 향상을 약속하므로, 모든 프로덕션 LLM 스택에 있어 마찰이 적은(low-friction) 업그레이드 방식이 될 것입니다.

References

1. VIA-SD: Verification via Intra-Model Routing for Speculative Decoding