Attention Drift: Autoregressive Speculative Decoding 모델은 무엇을 학습하는가

Speculative decoding (추측적 디코딩)은 작은 모델로 미래의 토큰들을 초안(draft)하여 LLM 추론을 가속화하지만, drafter (초안 작성) 모델은 템플릿 섭동 (template perturbation) 및 긴 문맥 (long-context) 입력 하에서 급격히 성능이 저하됩니다. 우리는 이전에 보고되지 않은 현상인 \textbf{attention drift (어텐션 드리프트)}를 식별했습니다. 즉, drafter가 추측 체인 (speculation chain) 내에서 연속적인 토큰을 생성함에 따라, attention (어텐션)이 프롬프트 (prompt)로부터 점진적으로 자신이 최근에 생성한 토큰들로 이동하는 현상입니다. 우리는 이러한 현상이 \emph{EAGLE3} drafter와 \emph{MTP heads} 모두에서 관찰됨을 확인하였으며, 이는 drift가 drafter 설계의 특성임을 시사합니다. 우리는 이 현상의 원인을 체인 단계 사이의 정규화되지 않은 residual path (잔차 경로)로 추적했습니다. drafter의 hidden state (은닉 상태) 크기는 체인 깊이에 따라 단조 증가하며, 이는 독립적인 autoregressive (자기회귀) 예측기라기보다는 타겟 모델 위에 추가적인 pre-norm transformer 레이어가 쌓인 것과 일치하는 역학을 보여줍니다. 이러한 성장을 제한하기 위해, 우리는 두 가지 구조적 변경 사항을 제안합니다: drafter hidden states에 대한 Post-norm 적용, 그리고 타겟 hidden states를 캡처한 후 각 hidden state에 대한 RMSNorm 적용입니다. 우리의 개입은 템플릿 섭동 하에서 현재 선도 모델인 pre-norm EAGLE3 대비 수락 길이 (acceptance length)를 최대 2배, 긴 문맥 작업에서 1.18배, 그리고 다회차 채팅, 수학, 코딩을 아우르는 7개의 표준 벤치마크에서 1.10배 개선했습니다. 또한 우리의 변경 사항은 더 짧은 훈련 시간-테스트 깊이 (train-time-test depths)가 더 긴 초안 생성 시퀀스에 대해 일반화될 수 있도록 합니다.