Diffusion 언어 모델을 위한 마스크 인식 정책 기울기

요약

본 논문은 마스킹된 확산 언어 모델(MDLM)에 강화학습을 적용하는 새로운 방법을 제안합니다. 기존 방식의 한계를 극복하기 위해, 생성 과정을 토큰 배치 결정과 위치 재마스킹 결정이라는 2단계 액션 MDP로 형식화했습니다. 이를 통해 정책 기울기를 두 개의 항으로 분해하고 최적화하여 수학 및 코딩 벤치마크에서 높은 성능을 달성했습니다.

핵심 포인트

• MDLM에 RL 적용의 어려움을 극복하는 새로운 프레임워크 제시
• 생성 과정을 '토큰 배치'와 '위치 재마스킹'의 2단계 액션 MDP로 형식화
• 정책 기울기를 토큰 항과 마스킹 항으로 분해하여 최적화 가능함을 입증
• GSM8K에서 87.1%, MBPP에서 53.4% 등 높은 성능을 달성하며 효과 검증