[논문] SpecPilot: 추측 디코딩(Speculative Decoding)을 위한 자율 알고리즘 발견 및 시스템 최적화

추측 디코딩(speculative decoding)은 경량 드래프터(drafter)를 사용하여 메모리 바운드 LLM 디코딩 속도를 높이며, 병렬 드래프터는 전체 블록을 단일 순방향 패스(forward pass)로 작성하여 이 가속도를 확장합니다. 하지만, 공개된 시스템(stock)이 병렬 작성이 허용하는 최대 가속도를 달성하는지는 여전히 불분명합니다. 우리는 세 가지 과제를 식별했습니다. 첫째, 한 요청당 각 단계는 몇 개의 토큰만 수락하지만 모든 타겟 가중치(target weight)를 읽습니다. 둘째, 배치 처리(batching) 시, 요청당 검증 작업량은 자기회귀(AR) 디코딩 대비 속도를 약 절반으로 줄입니다. 셋째, 추측 디코딩은 배포 환경에 특화되어 있어 모든 서비스 체제, 드래프터, 타겟 모델 및 GPU에 맞는 범용적인 최적화가 없습니다. 이러한 과제들을 해결하기 위해, 우리는 SpecPilot을 제시합니다. 이는 각 배포를 위한 알고리즘과 시스템 최적화를 발견하는 자율 에이전트 루프(autonomous agentic loop)입니다. 매 라운드마다 비용 모델(cost model)은 현재 시스템과 이론적 최대치 사이의 가장 큰 격차를 찾아냅니다. 병렬 에이전트들은 방향을 탐색하고 성공적인 것들을 통합합니다. 토큰 포싱(Token forcing)은 모든 출력 토큰을 stock과 비교하여 보상 해킹(reward hacking)을 감지합니다. 구조화된 메모리(structured memory)는 검증된 메커니즘을 다음 라운드와 배포에 전달합니다. SpecPilot은 일반적인 손실 없는 12비트 가중치 형식, 하이브리드 순환 타겟(hybrid recurrent targets)을 위한 트리 검증, 이중 레벨 검증 및 세 가지 배치 처리 메커니즘을 발견했습니다. 우리는 이를 네 가지 타겟 모델, 세 가지 드래프터, 두 개의 GPU 플랫폼, 그리고 다섯 가지 벤치마크에 걸쳐 평가합니다. 학습이나 품질 손실 없이, 이는 단일 요청 시 AR 대비 가속도를 stock의 4.46배에서 10.87배로, 배치 처리 시 1.94배에서 3.93배로 높입니다. arXiv : https://arxiv.org/abs/2611.02501 PDF : https://arxiv.org/pdf/2611.02501 GitHub : https://github.com/StargazerX0/SpecPilot Project : https://stargazerx0.github.io/specpilot-project-page/