AlphaGRPO: 분해 가능한 검증 가능 보상(Decompositional Verifiable Reward)을 통한 UMM에서의 자기 성찰적

요약

본 논문은 Group Relative Policy Optimization (GRPO)을 AR-Diffusion Unified Multimodal Models (UMMs)에 적용한 AlphaGRPO 프레임워크를 제안합니다. 이 접근 방식은 추가적인 콜드 스타트 단계 없이 멀티모달 생성 능력을 향상시키며, 모델이 사용자 의도를 추론하고 출력의 불일치를 자율적으로 수정하는 자기 성찰적 정제(Self-Reflective Refinement) 기능을 활성화합니다. 특히, 복잡한 사용자 요청을 원자적이고 검증 가능한 의미 및 품질 질문으로 분해하여 신뢰성 높은 피드백을 제공하는 '분해 가능한 검증 가능 보상(DVReward)'을 도입함으로써, 실제 세계 멀티모달 생성의 안정적인 지도를 제공합니다.

핵심 포인트

• AlphaGRPO는 GRPO를 UMMs에 적용하여 콜드 스타트 없이 멀티모달 생성을 개선한다.
• 모델이 사용자 의도 추론 및 출력 불일치 진단/수정이 가능한 자기 성찰적 정제 능력을 갖추게 한다.
• 핵심 기여인 DVReward는 복잡한 요청을 원자적 질문으로 분해하여 신뢰성 높은 피드백을 제공한다.
• 다양한 멀티모달 생성 벤치마크(GenEval, TIIF-Bench 등)에서 강력한 성능 향상을 입증했다.