CanvasAnneal: 확산 언어 모델을 위한 커리큘럼 강화학습

요약

본 논문은 확산 언어 모델(DLMs)의 추론 및 도구 사용 능력을 향상시키기 위한 커리큘럼 기반 강화학습 프레임워크인 CanvasAnneal을 제안합니다. 이 방법은 강력한 교사 모델로부터 얻은 추론 사전 지식을 초기 단계에 주입하여 RL 탐색 병목 현상을 해결하고, 훈련이 진행됨에 따라 가이던스를 점진적으로 제거합니다.

핵심 포인트

• DLMs는 복잡한 추론 작업에서 자기회귀 모델 대비 성능 한계를 보임.
• CanvasAnneal은 교사 모델의 지식을 초기 단계에 주입하여 탐색을 예열함.
• 점진적인 가이던스 제거를 통해 모델의 독립적 추론 능력을 향상시킴.
• MATH500, Countdown 등 여러 벤치마크에서 표준 diffu-GRPO 대비 성능 개선을 입증함.