추측 디코딩(Speculative decoding)은 순수하게 대규모 언어 모델(LLM)의 디코딩 속도를 높이는 시스템 최적화로만 간주되어 왔다. 이러한 관점에서 볼 때, 더 나은 초안 모델(draft model)을 훈련하려는 노력은 오직 수용률(acceptance rate)에만 집중되었다. 우리는 이러한 관점이 장기 호흡 에이전트 추론에는 적용되지 않는다고 주장한다.
다양한 추측 디코딩 접근 방식을 사용하여 복잡한 에이전트 작업(agentic tasks)에서 최첨단 오픈 가중치 모델(open-weight models)을 측정하면서, 우리는 검증 창(verification windows) 내에서 수치적 노이즈가 증가하며, 사고 과정의 초안 수용 결과가 30단계 이후 모델의 출력 분포를 바꿀 수 있고, 이로 인해 무작위 방향으로 장기 호흡 에이전트의 추론 정확도에 눈에 띄는 영향을 미친다는 것을 발견했다. 본 연구에서는 이러한 노이즈를 제어하여 타겟 모델(target model)의 추론 능력을 향상시킨다.
비록 우리가 타겟 모델이 검증하는 전체 토큰 분포 자체를 바꿀 수는 없지만, 초안 모델을 거부하도록 훈련함으로써 가장 높은 정밀도로 중요한 추론을 인코딩할 수 있다. 우리는 에이전트 추적(agent traces)에서 이러한 지점을 식별하고 초안 모델이 적대적 선호도(adversarial preference)를 따르도록 훈련시킨다. 추론 시, 훈련된 초안과 타겟은 정확히 이 결정 지점에서 분리되고 검증이 재개되므로, 중요한 사고 토큰은 타겟 모델로부터 샘플링되어 가장 노이즈가 적은 조건에서 인코딩된다.
이 접근 방식은 중요한 추론을 장기 호흡에 걸쳐 더 잘 인덱싱하고 지속 가능하게 만든다. 복잡한 에이전트 코딩 벤치마크에서 우리의 접근 방식은 타겟 모델이나 그 출력 분포를 변경하지 않으면서 종단 간(end-to-end) 성공률을 높인다. 우리의 결과는 추측 디코딩 메커니즘을 순수한 가속기(accelerator)에서 컨텍스트 정밀도에 대한 능동적인 할당자(active allocator)로 재정립하며, 호스팅된 파라미터의 0.06%에서 0.28%를 훈련함으로써 장기 호흡 에이전트의 정확도를 향상시킨다.