확산 언어 모델을 위한 상대 점수 정책 최적화 (Relative Score Policy Optimization for Diffusion

요약

확산 대규모 언어 모델(dLLMs)은 효율적인 텍스트 생성을 위한 유망한 방법이지만, 강화학습 기반의 사후 학습 적용에 어려움이 있습니다. 기존 정책 최적화 기법들은 dLLMs에서 다루기 쉬운 시퀀스 수준 로그 비율을 확보하기 어렵고, 이로 인해 높은 분산과 불안정한 훈련 문제를 야기합니다. 본 논문은 이러한 문제를 해결하는 새로운 방법(RSPO)을 제안하며, 이는 수학적 추론 및 계획 작업에서 강력한 성능 향상을 입증했습니다.

핵심 포인트

• dLLMs는 병렬적이고 효율적인 텍스트 생성을 가능하게 하는 유망한 모델입니다.
• 기존 강화학습 기반 정책 최적화 기법들은 dLLMs에 적용하기 어려운 시퀀스 수준 로그 비율 문제를 안고 있습니다.
• 이 문제는 높은 분산과 불안정한 RL 훈련을 초래합니다.
• 제안된 RSPO(Relative Score Policy Optimization)는 이러한 기술적 한계를 극복하는 새로운 접근 방식입니다.
• RSPO는 특히 수학적 추론 및 계획 작업에서 뛰어난 성능 향상을 보여주었습니다.