로컬 LLM이 응답 생성을 마칠 때까지 앉아서 기다리며, 자신의 인생 선택을 의심하기 시작하는 그 순간을 아시나요? "왜 내 노트북에서 14B 모델을 돌리는 게 좋은 생각이라고 했을까?"\n\n네, 저도 그런 경험이 있습니다.\n\n하지만 여기 한 가지 사실이 있습니다. 저는 ML (Machine Learning) 연구 분야에서 조용히 회자되고 있는 트릭을 발견했습니다. 이것은 과장된 "새로운 아키텍처 (new architecture)"나 성능을 낮춘 더 작은 모델이 아닙니다. 이것은 **Speculative Decoding (추측적 디코딩)**이라 불리며, 제 로컬 Qwen3 설정에서 실제로 2.8배의 속도 향상을 가져다주었습니다. 동일한 모델, 동일한 출력 품질, 단지... 더 빨라졌을 뿐입니다.\n\n이것이 무엇인지, 어떻게 작동하는지, 그리고 왜 6,000개 이상의 GitHub 스타를 보유한 DeepSeek의 새로운 DeepSpec 리포지토리가 이를 모두가 사용할 수 있게 만들고 있는지 보여드리겠습니다.\n\n## Speculative Decoding이란 정확히 무엇인가\n\n

\n_📸 Photo by Unsplash_\n\n몇 달 전에 누군가 저에게 알려주었으면 좋았을 멘탈 모델(mental model)을 소개합니다.\n\n당신이 이메일을 쓰고 있다고 상상해 보세요. 그런데 단어를 하나 입력할 때마다 다음 단어를 쓰기 전에 상사의 승인을 기다려야 합니다. 이것이 일반적인 LLM 추론 (inference)이 작동하는 방식입니다. 한 번에 하나의 토큰 (token)씩, 각 토큰마다 모델을 통한 전체 순전파 (forward pass) 과정이 필요합니다. 모델이 매우 거대하기 때문에 느릴 수밖에 없습니다.\n\n이제 대신에 빠르지만 정확도는 떨어지는 주니어 인턴을 고용했다고 상상해 보세요. 인턴은 한 번에 5~10개의 단어를 병렬로 초안을 작성하고, 상사는 이를 훑어보며 "응, 맞아"라고 말하거나 여기저기 단어를 수정합니다. 상사가 여전히 최종 결정권을 갖기 때문에 — 출력 품질은 떨어지지 않습니다 — 인턴의 병렬 초안 작성을 통해 상사의 승인 단계를 훨씬 줄일 수 있습니다.

그것이 바로 Speculative Decoding (추측적 디코딩)입니다. 작고 빠른 "초안 모델 (draft model)"을 사용하여 한 번의 패스 (pass)로 여러 토큰을 예측한 다음, 큰 모델이 이를 한꺼번에 검증합니다. 큰 모델의 출력은 토큰을 하나씩 생성했을 때와 동일함이 보장됩니다. 품질 저하는 없습니다. 오직 속도만 향상됩니다.

솔직히 말씀드리면 — 제가 처음 이 기술에 대해 읽었을 때, 너무 좋아서 믿기지 않는다는 생각이 들었습니다. "그러니까 제 14B 모델의 순전파 (forward pass) 횟수를 줄이면서도 정확히 동일한 출력을 얻을 수 있다는 뜻인가요?" 결과는, 그렇습니다. 수학적으로 증명되었습니다.

DeepSpec: 모두가 이야기하는 리포지토리 (Repo)

📸 Tech ek, DeepS photography

지난주, DeepSeek가 DeepSpec을 공개했으며, 현재 GitHub 스타(stars) 6,054개를 기록하고 있습니다. 이는 단순한 유행이 아닙니다 — Speculative Decoding (추측적 디코딩) 알고리즘을 훈련하고 평가하기 위한 풀스택 코드베이스 (full-stack codebase)입니다. 또한 단 하나의 방식만 제공하는 것도 아닙니다. DeepSpec은 세 가지의 서로 다른 초안 모델 아키텍처를 함께 제공합니다:

• Eagle3 — 다음 여러 토큰을 예측하는 작은 트랜스포머 (transformer)를 사용하는 DeepSeek 자체의 초안 모델
• DFlash — 전체 블록을 한 번에 초안으로 작성하는 "블록 확산 (block diffusion)" 방식을 사용합니다 (자체 리포지토리에서 5,370개의 스타 기록)
• DSpark — 그들의 논문에 상세히 기술된 최신 알고리즘

DeepSpec에서 제가 좋아하는 점은 실용적이라는 것입니다. 그들은 Qwen3 모델 (4B, 8B, 14B)과 Gemma 4를 위한 사전 훈련된 체크포인트 (pre-trained checkpoints)를 HuggingFace에서 제공합니다. 이를 사용하기 위해 박사 학위가 필요하지는 않습니다. 리포지토리를 클론 (clone)하고, 체크포인트를 다운로드하면 거의 모든 준비가 끝납니다.

알고리즘 (Algorithm)	보고된 속도 향상 (Speedup Reported)	모델 지원 (Model Support)	학습 필요 여부 (Training Required)
Eagle3	~2.5-3x	Qwen3 (4B-14B), Gemma 4 12B	예 (또는 사전 학습된 모델 사용)
...

진짜 핵심은 무엇일까요? 이 초안 모델 (draft models)들은 타겟 모델에 비해 매우 작다는 점입니다. Qwen3-4B를 위한 Eagle3 초안은 파라미터가 약 300M(3억 개)에 불과합니다. 이것이 바로 빠른 이유입니다.

나의 실제 환경 설정 및 결과

📸 개발자 작업 공간 사진

저는 RTX 4090 (24GB VRAM)이 장착된 머신에서 실행 중입니다. as been Q 애호가들에게는 꽤 표준적인 사양이죠. 제가 주로 사용하는 모델은 Qwen3-14B (llama.cpp를 통해 Q4_K_M으로 양자화됨)이며, 상태가 좋을 때는 초당 약 12-15 토큰 (tokens/second)을 생성합니다. 채팅용으로는 괜찮지만, 그보다 긴 작업에는 고통스럽습니다.

추측적 디코딩 (speculative decoding)을 설정했을 때 일어난 일은 다음과 같습니다:

추측적 디코딩 미사용 (기준점/baseline):

• Qwen3-14B (Q4_K_M): ~13 tok/s
• 긴 문맥 생성 (Long context generation): 고통스러울 정도로 느림

Eagle3 초안 모델 사용 (300M params):

• 동일한 Qwen3-14B: ~35 tok/s
• 이는 2.7배의 속도 향상입니다. 실제적이고, 측정 가능하며, 재현 가능합니다.

DFlash 초안 사용:

• 동일한 설정: ~32 tok/s
• 약간 더 낮지만, 더 긴 시퀀스 (sequences)에서 더 안정적임

가장 좋은 점은 무엇일까요? 저는 동일한 프롬프트와 동일한 시드 (seeds)를 사용하여 출력값을 나란히 비교해 보았습니다. 응답은 **동일(identical)**했습니다. 추측적 디코딩은 수학적으로 손실이 없습니다 (lossless). 거대 모델이 모든 초안 토큰을 승인하거나 거부하기 때문에, 품질 저하가 전혀 없습니다.

솔직히 말씀드리면, 저는 몇 달 동안 이 기술에 대해 회의적이었습니다. 계속해서 "분명히 함정이 있을 거야"라고 생각했죠. 하지만 일주일 동안 이것을 실행해 본 결과, 유일한 함정은 초안 모델을 위해 약간의 추가 VRAM(약 1-2GB)이 필요하다는 것뿐이었습니다. 4090에게 그것은 아무것도 아닙니다.

이것이 2026년에 중요한 이유

잠시 시야를 넓혀보겠습니다.

우리는 Qwen3, Gemma 4, 그리고 DeepSeek의 모델들과 같은 오픈 웨이트 (open-weight) 모델들이 GPT-4나 Claude와 진정으로 경쟁할 수 있는 기묘한 시점에 와 있습니다. 하지만 추론 (inference) 속도가 사람들이 클라우드 API에 머물게 만드는 병목 현상 (bottleneck)이 되어 왔습니다. "로컬에서 돌리고 싶지만 너무 느려요" — 저도 정확히 이 문장을 수백 번은 말했습니다.

Speculative decoding (추측적 디코딩)은 그 계산을 바꿔 놓습니다. 소비자용 하드웨어에서 2~3배의 속도를 얻을 수 있다면, 갑자기 로컬 추론은 타협안이 아니라 실행 가능한 대안이 됩니다.

지금 일어나고 있는 일을 보십시오: DeepSpec (6K⭐), DFlash (5.3K⭐), SpecForge, 그리고 수십 개의 다른 프로젝트들이 모두 동일한 아이디어로 수렴하고 있습니다. 연구 커뮤니티는 초안 모델 (draft-model)을 이용한 speculative decoding이 효율적인 추론을 위한 미래의 길이라고 집단적으로 결정했습니다. 그리고 DeepSeek가 체크포인트 (checkpoints)뿐만 아니라 전체 훈련 파이프라인 (training pipeline)까지 오픈 소스로 공개했다는 사실은? 이는 도입을 엄청나게 가속화할 것입니다.

SOTA LLM을 로컬에서 실행하는 것에 관한 HN (Hacker News) 스레드는 이번 주에 496점을 기록했습니다. 분명히 이에 대한 갈망이 존재합니다. 사람들은 API 구독의 쳇바퀴에서 벗어나고 싶어 하며 — 월 70달러의 구독을 취소했다는 제 기사도 많은 공감을 얻었습니다 — speculative decoding은 로컬 실행을 실제로 실용적이게 만드는 빠진 고리입니다.

내가 다르게 했을 것들

제가 고생하며 배운 몇 가지 사항은 다음과 같습니다:

• 사전 학습된 체크포인트(pre-trained checkpoints)로 시작하세요. 특정 사용 사례가 있는 경우가 아니라면 초안 모델(draft model)을 처음부터 학습시키려 하지 마세요. DeepSpec HuggingFace 체크포인트는 Qwen3 및 Gemma 4에서 즉시 작동합니다.

• 속도 향상은 하드웨어에 따라 다릅니다. 4090에서는 약 2.7배의 속도 향상을 얻었습니다. 64GB 통합 메모리를 갖춘 M2 Mac에서는 한 친구가 약 2배를 기록했다고 보고했습니다. 저사양 GPU에서는 초안 모델의 오버헤드(overhead)가 이득을 더 많이 갉아먹습니다. 결과는 사용자마다 다를 수 있습니다(YMMV).

• 배치 크기(Batch size)가 중요합니다. Speculative decoding은 더 긴 시퀀스(문단, 코드, 기사)를 생성할 때 빛을 발합니다. 단일 문장 응답의 경우 오버헤드가 가치가 없으며, 심지어 약간의 속도 저하가 발생할 수도 있습니다.

• llama.cpp에서 실험적 지원을 제공합니다. llama.cpp를 사용 중이라면(로컬 LLM을 실행 중이라면 아마 사용 중일 것입니다), --draft-model 플래그를 확인해 보세요. 실험적(experimental)이라고 표시되어 있지만, 저에게는 잘 작동했습니다.

• CPU 전용 설정에서 마법 같은 효과를 기대하지 마세요. 초안 모델도 효율적으로 실행되려면 여전히 GPU가 필요합니다. CPU 추론(inference)은 오버헤드 대비 병렬성 이득이 작기 때문에 이득을 많이 보지 못합니다.

고지 사항: 이 기사의 일부 링크는 제휴 링크입니다. 이를 통해 구매하시면 귀하에게 추가 비용 없이 저에게 소정의 수수료가 지급될 수 있습니다. 저는 진심으로 유용하다고 생각하는 제품만을 추천합니다.

결론

Speculative decoding은 진짜입니다. 이것은 새로운 모델도 아니고, 편법(hack)도 아닙니다. 일부 토큰은 다른 토큰보다 예측하기 쉽다는 사실을 이용하는 영리한 알고리즘 기술입니다. 아주 작은 초안 모델을 사용하여 쉬운 토큰을 추측하게 하고, 큰 모델에는 검증만 요청함으로써 비용이 많이 드는 순전파(forward passes) 횟수를 60-70% 줄일 수 있습니다.

DeepSeek의 DeepSpec은 GPU를 가진 사람이라면 누구나 이를 사용할 수 있게 만들었습니다. 일주일 만에 기록된 6,000개의 스타는 이것이 단순한 연구 프로젝트가 아니라, 사람들이 실제로 사용하고 있는 무언가임을 말해줍니다.

만약 로컬 환경이 너무 느리다고 생각해서 여전히 클라우드 AI API에 월 20~70달러를 지불하고 있다면, Speculative Decoding (추측적 디코딩)을 시도해 보세요. 저는 솔직히 향후 1년 내에 대부분의 개발자에게 로컬 추론 (local inference)이 기본값이 될 것이라고 생각하며, 이러한 기술들이 바로 그 이유입니다.

여러분은 아직 Speculative Decoding (추측적 디코딩)을 시도해 보셨나요? 아니면 여전히 고통스럽게 토큰을 하나씩 생성하며 모델을 실행하고 계신가요?