강화학습(RL)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 데 효과적임이 입증되었지만, 로그 우도(log-likelihood) 추정의 비현실성 때문에 이를 마스킹된 확산 언어 모델(MDLMs)에 확장하는 것은 여전히 어렵습니다. 기존 접근 방식들은 토큰 예측만을 모델링하여 이 로그 우도를 근사하며, 생성 과정에서 위치가 마스크 해제되는 순서는 무시합니다. 우리는 MDLM의 생성이 각 단계에서 두 가지 결정을 수반한다는 것을 관찰했습니다: 각 마스크된 위치에 어떤 토큰을 배치할지 그리고 어느 위치를 다시 마스킹할지입니다. 우리는 이를 2단계 액션 MDP로 형식화하고, 정책 기울기(policy gradient)가 자연스럽게 토큰 항과 마스킹 항으로 분해됨을 보여줍니다. 두 항의 최적화를 결합하는 것은 수학적 추론 및 코딩 벤치마크에서 최고 수준의 결과를 가져오며, GSM8K에서 87.1%, MBPP에서 53.4%의 점수를 달성했습니다.