Flow-OPD: Flow Matching 모델을 위한 On-Policy Distillation

요약

본 논문은 기존 Flow Matching (FM) 기반의 텍스트-이미지 생성 모델이 직면하는 보상 희소성 및 기울기 간섭 문제를 해결하기 위해 'Flow-OPD'라는 새로운 온-정책 증류(On-Policy Distillation) 사후 훈련 프레임워크를 제안합니다. Flow-OPD는 단일 보상 GRPO 미세 조정을 통해 도메인 특화 교사 모델들을 육성하고, 이를 활용하여 범용적인 텍스트-이미지 모델의 정렬 성능을 향상시킵니다.

핵심 포인트

• 기존 Flow Matching (FM) 모델은 보상 희소성과 기울기 간섭으로 인해 '시소 효과' 및 보상 해킹 문제를 겪는다.
• Flow-OPD는 On-Policy Distillation (OPD) 개념을 FM에 통합한 최초의 통일된 사후 훈련 프레임워크이다.
• 제안된 방법은 단일 보상 GRPO를 사용하여 도메인 특화 교사 모델들을 효과적으로 육성한다.
• Flow-OPD는 기존 방식 대비 높은 성능(예: vanilla GRPO보다 10점 더 높은 점수)을 달성하며 '교사 능가' 효과를 입증했다.