ParetoSlider: 다중 목표 RL로 확산 모델의 제어 가능성 극대화

요약

기존 강화학습(RL) 기반 생성 모델 정렬 방식은 단일 스칼라 보상에 의존하여, 여러 상충하는 목표(예: 프롬프트 준수 vs. 소스 충실도) 간의 트레이드오프를 고정된 가중치 합으로 처리합니다. 저희가 제안하는 ParetoSlider는 다중 목표 RL (MORL) 프레임워크로, 단일 확산 모델이 전체 파레토 전선(Pareto front)을 근사하도록 학습시킵니다. 이 방식을 통해 사용자는 추론 시점에 별도의 재학습이나 여러 체크포인트 관리 없이도 다양한 선호도 가중치를 조건부 신호로 주입하여 최적의 트레이드오프를 연속적으로 탐색할수

핵심 포인트

• ParetoSlider는 단일 확산 모델을 사용하여 전체 파레토 전선(Pareto front)을 근사하는 다중 목표 RL (MORL) 프레임워크입니다.
• 사용자는 추론 시점에 다양한 선호도 가중치(continuous preference weights)를 조건부 신호로 주입하여 최적의 트레이드오프를 연속적으로 제어할 수 있습니다.
• 본 연구는 SD3.5, FluxKontext, LTX-2 등 3가지 최신 플로우 매칭 백본에서 평가되었으며, 고정된 보상 트레이드오프 기반 모델을 능가하거나 동등한 성능을 보여줍니다.