MeanFlowNFT: 평균 속도 생성기에 Forward-Process RL 적용
요약
MeanFlowNFT는 평균 속도 예측 기반의 MeanFlow 생성기에 강화학습(RL) 프레임워크를 적용한 모델입니다. 기존 DiffusionNFT가 순간 속도를 최적화하는 것과 달리, MeanFlowNFT는 평균 속도를 유지하며 RL 튜닝을 수행합니다. 이를 통해 적은 샘플링 단계만으로도 높은 품질의 이미지 및 비디오 생성을 달성하여 기존 SOTA 모델들을 능가함을 입증했습니다.
핵심 포인트
- MeanFlow에 DiffusionNFT의 RL 프레임워크를 적용한 MeanFlowNFT를 제안함.
- 평균 속도를 기반으로 샘플링을 유지하며, 적은 단계로 고품질 생성을 달성함.
- Few-step 생성만으로도 다단계 RL 튜닝 모델보다 우수한 성능을 보임.
- 이미지 및 비디오 생성에서 기존 SOTA 모델들을 일관되게 능가하는 결과를 보여줌.
MeanFlow 생성기는 시간 간격에 걸친 평균 속도를 예측함으로써 빠른 몇 단계 샘플링을 달성하여 효율적인 생성을 위해 매력적입니다. 강화학습 (RL)은 확산 모델과 흐름 모델을 인간의 선호도 및 작업별 목표와 정렬하는 강력한 방법이 되었습니다. 특히, DiffusionNFT는 역방향 과정 궤적이나 가능도 추정(likelihood estimation)을 요구하지 않는 효율적인 forward-process RL 프레임워크를 제공합니다. 그러나 이러한 RL 방법을 MeanFlow에 적용하는 것은 아직 충분히 탐구되지 않았습니다. DiffusionNFT는 순간 속도를 최적화하는 반면, MeanFlow는 평균 속도로 샘플링합니다. 이 격차를 해소하기 위해, 우리는 MeanFlowNFT를 도입합니다. 평균 속도와 순간 속도를 연결하는 MeanFlow의 정체성(identity)에서 영감을 받아, 우리는 유도된 순간 속도 예측기(induced instantaneous-velocity predictor)를 구성합니다. 우리는 DiffusionNFT 목적 함수를 이 예측기에 적용하여, MeanFlow에 대한 보상 최적화가 잘 정의되도록 만듭니다. 샘플링은 평균 속도를 기반으로 유지되어, MeanFlow의 빠른 몇 단계 생성을 보존합니다. 나아가, 우리는 MeanFlowNFT가 DiffusionNFT의 엄격한 정책 개선(policy-improvement) 보장을 상속받는다는 것을 증명합니다. 이미지 및 비디오 생성에 대한 실험 결과는 MeanFlowNFT가 기준 모델을 일관되게 개선함을 보여줍니다. 더욱이, 이는 대부분의 지표($8$개 중 $6$개에서 SD3.5-M)에서 이전 최첨단 RL 튜닝된 몇 단계 생성기보다 우수하며, 단지 몇 번의 샘플링 단계만을 사용하면서도 다단계 RL 튜닝 확산 모델을 능가할 수 있습니다. 예를 들어, Wan 2.1에서 $4$단계 MeanFlowNFT는 VBench 점수 $84.33$에 도달하여, $50$단계 LongCat-Video RL ($82.57$)을 능가합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기