서론 (Introduction)

추측적 디코딩 (Speculative decoding)은 지난 3년의 상당 기간 동안 "거의 프로덕션에 적용될 준비가 된" 기술 중 하나였습니다. 작은 초안 모델 (draft model)이 토큰을 제안하면, 더 큰 타겟 모델 (target model)이 단 한 번의 순방향 패스 (forward pass)로 이를 검증합니다. 이론적으로는 2~4배의 처리량 (throughput)을 얻을 수 있습니다. 하지만 실제로는 초안 모델이 저렴하고, 빠르며, 타겟의 분포를 _모방 (mimicking)_할 만큼 충분히 뛰어나야 하는데, 이는 말하는 것보다 훨씬 어려운 조합입니다.

어제, DeepSeek의 새로운 논문이 Hacker News의 상단에 조용히 올라왔습니다 (글 작성 시점 기준 714점 이상, 290개 이상의 댓글). 이 논문의 이름은 DSpark이며, 추측적 디코딩 (speculative decoding)을 마치 이 기술이 '덧붙이는 방식 (bolt-on)'이 아닌 '즉시 적용 가능한 방식 (drop-in)'이 될 수 있는 방식으로 재구성합니다.

논문 링크: github.com/deepseek-ai/DeepSpec/blob/main/DSpark_paper.pdf

핵심 아이디어 (The Core Idea)

처음부터 별도의 더 작은 초안 모델 (draft model)을 훈련시키는 대신 (전통적인 방식), DSpark는 추측 헤드 (speculative head)를 타겟 모델 (target model)에 직접 접목 (grafts) 합니다. 직관은 간단합니다. 타겟 모델이 어떤 토큰이 다음에 올 가능성이 높은지 이미 알고 있다면, 병렬 네트워크를 유지하는 대신 자신의 중간 표현 (intermediate representations)을 재사용하지 않을 이유가 무엇인가 하는 것입니다.

HN(Hacker News)의 토론에 따르면, 이 접근 방식은 구체적인 아키텍처 측면의 이점을 가집니다. 즉, 독립형 초안 모델을 사용할 때 유지해야 했던 레이어 중복 (layer duplication)을 줄여줍니다. DeepSeek의 실험에서 이 기술은 그 자체로 MTP 기능이 있는 Step 및 Qwen 3.6 위에 적용되었습니다.

MTP와의 결합 방식 (How It Fits With MTP)

HN(Hacker News) 댓글 작성자들이 제기한 더 흥미로운 실무적 포인트 중 하나는 다음과 같습니다: DSpark는 **Multi-Token Prediction (MTP)**의 대체제가 아니라, 이를 **보완 (complementary)**하는 기술이라는 점입니다. 보조 헤드(auxiliary heads)를 사용하여 매 단계마다 모델이 여러 개의 미래 토큰을 예측하는 MTP는 이미 NVIDIA DGX Spark와 같은 하드웨어에서 50~100%의 속도 향상을 제공한다는 것이 입증되었습니다. DSpark는 그 위에 또 다른 계층을 추가합니다. 즉, MTP를 사용하더라도 검증(validation) 단계는 여전히 메인 모델을 통한 단일 순전파(forward pass) 과정이며, 수락된 추측 토큰들은 "공짜로" 얻어지는 셈입니다.

해당 스레드에서 얻을 수 있는 유용한 사고 모델(mental model)은 다음과 같습니다:

추측적으로 예측된 모든 토큰은 여전히 메인 모델을 통해 검증되며(이는 처음부터 예측하는 것보다 빠릅니다), 토큰이 정확히 일치할 경우에만 수락됩니다.

이 마지막 절이 바로 추측적 디코딩 (Speculative Decoding)을 **무손실 (lossless)**하게 만드는 핵심입니다. 여러분은 타겟 모델과 동일한 출력 분포를 보장받습니다. 이러한 특성 덕분에 추측적 디코딩은 정확성이 중요한 프로덕션 환경—코딩 어시스턴트, 구조화된 출력 에이전트(structured-output agents), 단 하나의 토큰 이탈로도 다운스트림 로직이 망가질 수 있는 모든 분야—에서 항상 유지될 수 있었습니다.

이것이 지금 중요한 이유

Leviathan et al. (2022) 이후의 모든 추측적 디코딩 논문을 읽어보았더라도, 이 논문에 주목해야 할 세 가지 이유가 있습니다:

1. 하드웨어가 마침내 준비되었습니다. 추측적 디코딩의 초안 모델(draft-model) 오버헤드는 대부분 메모리 대역폭 제한(memory-bandwidth-bound)을 받습니다. H100 및 새로운 DGX Spark에서는 초안 순전파(draft forward pass) 비용이 이식된 헤드(grafted heads)를 사용하는 것이 경제적으로 타당할 정도로 낮아졌습니다.
2. 추론의 경제학이 뒤바뀌었습니다. 1년 전의 질문이 "더 큰 모델을 담을 수 있는가?"였다면, 이제는 "GPU 비용을 두 배로 늘리지 않고도 동일한 모델을 두 배 더 많은 사용자에게 서비스할 수 있는가?"입니다. 추측적 디코딩을 통한 모든 2배의 승리는 API를 운영하는 모든 이에게 직접적인 마진 개선으로 이어집니다.
3. 오픈 소스입니다. DeepSeek의 최근 작업 대부분이 그러하듯, 이 논문은 deepseek-ai/DeepSpec 리포지토리에 코드가 포함되어 배포됩니다. "요청 시 제공 가능"과 같은 각주도 없습니다.

개발자가 실제로 취해야 할 조치

현재 LLM (Large Language Model)을 서빙하고 있다면:

• 현재 수락률 (Acceptance Rate)을 확인하세요. 이미 작은 초안 모델 (Draft Model)을 사용하여 추측적 디코딩 (Speculative Decoding)을 실행 중이고 수락률이 50% 미만이라면, DSpark와 같은 접합 헤드 (Grafted-head) 방식이 순수 지연 시간 (Latency) 측면에서 이를 능가하기는 어려울 것입니다. 하지만 메모리 사용량 (Memory Footprint) 측면에서는 거의 확실하게 승리할 것입니다.
• MTP 궤적을 주시하세요. DeepSeek-V3와 여러 Qwen 변형 모델들은 MTP 헤드를 기본적으로 탑재하여 출시됩니다. 만약 이 중 하나를 사용하고 있다면, DSpark는 본질적으로 "공짜 점심"과 같습니다. 접합된 추측 헤드 (Grafted Speculative Head)가 이미 계산하고 있는 MTP 출력을 재사용하기 때문입니다.
• 아직 직접 구현하지 마세요. 이 논문이 나온 지 3일밖에 되지 않았고 오픈 소스 구현체도 여전히 배포되는 중입니다. 일주일 정도 시간을 두고, GitHub 이슈를 지켜보며, 실제 트래픽 구성에 맞춰 벤치마크를 수행한 후에 운영 환경(Production)의 설정을 변경하십시오.

주의 사항

이 기술은 훈련 (Training) 단계에서 공짜가 아닙니다. 접합된 추측 헤드 (Grafted Speculative Heads)는 타겟 모델의 출력 분포 (Output Distribution)에 맞춰 보정 (Calibrate)되어야 하며, 이는 무시할 수 없는 수준의 미세 조정 (Fine-tuning) 과정을 의미합니다. 논문에서는 그 비용이 추론 (Inference) 절감 효과를 통해 상쇄된다고 주장하지만, 실제 수치는 요청량과 평균 시퀀스 길이 (Average Sequence Length)에 따라 크게 달라질 것입니다.

또한 DeepSeek 스스로 인정하듯, 이 기술은 소수의 아키텍처 (Step, Qwen 3.6, 그리고 DeepSeek 자체 모델)에서만 검증되었습니다. 만약 Llama 4, Claude, 또는 GPT급 폐쇄형 가중치 (Closed-weight) 모델을 서빙하고 있다면 이를 직접 사용할 수는 없습니다. 하지만 다음 분기 동안 이와 유사한 접합 헤드 (Grafted-head) 구현 방식이 물밀듯 밀려올 것으로 기대할 수 있습니다.

더 큰 그림

흥미로운 메타 트렌드는 다음과 같습니다: 추론 시점 최적화 (Inference-time Optimization)가 프런티어 연구소 (Frontier Labs)들에게 사후 고려 사항이 아닌, 일급 결과물 (First-class Deliverable)이 되고 있다는 점입니다. DeepSeek는 약 18개월 만에 희소 MoE (Sparse MoE), MTP, 그리고 이제 DSpark까지 출시했습니다. 이 각각의 기술은 5년 전이었다면 조용한 ACL 워크숍 논문에 그쳤겠지만, 오늘날에는 HN (Hacker News) 메인 페이지를 장식하고 있습니다.

오픈 소스 생태계에게 이는 명백히 좋은 소식입니다. 폐쇄형 API (closed-API) 제공업체들에게는 무엇이 "충분히 괜찮은" 추론 (inference) 인지에 대한 기준을 높이며, 그 기준은 빠르게 변화하고 있습니다.

출처:

• DSpark 논문: github.com/deepseek-ai/DeepSpec
• HN 토론: news.ycombinator.com/item?id=48696585

여러분의 스택에서 추측적 디코딩 (speculative decoding)을 실험해 보셨나요? 사람들이 실제 운영 환경 (production)에서 어느 정도의 수락률 (acceptance rates)을 보고 있는지 궁금합니다. 아래에 댓글을 남겨주세요.