DiffusionOPD: Diffusion Models에서의 On-Policy Distillation에 대한 통합적 관점

요약

본 논문은 확산 기반 모델의 다중 작업 학습 문제를 해결하기 위해 Online Policy Distillation (OPD)을 활용한 새로운 패러다임인 DiffusionOPD를 제안합니다. 기존 방법들이 겪던 공동 최적화의 간섭 및 계단식 RL의 망각 문제를 피하면서, 각 작업을 독립적으로 학습시킨 교사 모델의 능력을 학생 모델로 증류하는 방식을 사용합니다. 이론적으로는 OPD 프레임워크를 연속 상태 마르코프 과정으로 확장하여 낮은 분산과 높은 일반성을 가진 폐쇄형 KL 목적 함수를 도출했으며, 실험적으로도 기존 최신 기법들을 능가함을 입증했습니다.

핵심 포인트

• DiffusionOPD는 확산 모델의 다중 작업 학습을 위한 새로운 패러다임을 제시합니다.
• 기존 방법들의 문제점(공동 최적화 간섭, 계단식 RL 망각)을 해결하며, 교사-학생 증류 방식을 채택했습니다.
• 작업별로 독립 학습된 교사 모델의 능력을 학생 모델 롤아웃 궤적을 통해 통합적으로 증류합니다.
• OPD 프레임워크를 연속 상태 마르코프 과정으로 확장하여 낮은 분산과 높은 일반성을 가진 해석적 KL 목적 함수를 도출했습니다.
• 실험 결과, DiffusionOPD는 다중 보상 RL 및 계단식 RL 베이스라인을 능가하는 최첨단 성능을 달성했습니다.