확산 언어 모델(Diffusion Language Models, DLMs)은 유망한 병렬 생성 능력을 제공하지만, 복잡한 추론 및 도구 사용 작업에서는 자기회귀 모델(autoregressive models)에 비해 뒤처집니다. 최근 강화학습(Reinforcement Learning, RL)이 DLM을 향상시키는 데 적용되었지만, 표준 RL 접근 방식은 탐색 병목 현상(exploration bottleneck)으로 어려움을 겪습니다. 이를 해결하기 위해 우리는 더 강력한 교사 모델(teacher model)로부터 추론 사전 지식(reasoning priors)을 주입하여 RL 탐색을 유도합니다. 본 논문에서는 커리큘럼 기반 확산 RL 프레임워크인 CanvasAnneal을 소개합니다. 초기 RL 단계 동안, 우리는 교사가 생성한 추론 궤적(reasoning traces)을 초기 확산 캔버스에 주입하여 탐색을 예열(warm-start)합니다. 훈련이 진행됨에 따라, 우리는 이 가이던스를 점진적으로 제거하고 모델이 더 많은 추론 궤적을 독립적으로 생성하도록 요구합니다. 수학적 추론 및 도구 사용 벤치마크 전반에 걸쳐, CanvasAnneal은 MATH500, Countdown, Tau2에서 표준 diffu-GRPO보다 성능이 향상되었으며, 여러 작업에서 보상 개선 속도를 크게 가속화하지만, 그 이득은 작업에 따라 다릅니다. 우리의 결과는 구조화된 훈련 시간 가이드가 확산 RL의 탐색 병목 현상을 완화하고 더 어려운 작업에서의 수렴 속도를 높일 수 있음을 시사합니다.