Improved techniques for fine-tuning flow models via adjoint matching: a

요약

본 논문은 속도 벡터장 상의 최적 제어 문제로 표현되는 결정론적 아도인트 매칭 프레임워크를 제시합니다. 이 방법은 정책 하에서 가치 기울기를 직접 회귀하여 단순하고 안정적인 학습 목표를 달성할 수 있게 합니다. 또한, 계산 효율성을 높이기 위해 보상 신호가 집중되는 궤적의 말단 부분에만 계산을 수행하는 절단 아도인트 스키마와, 정렬 강도 및 분포 보존 간의 유연한 트레이드오프를 제공하는 일반화된 정규화 기법을 소개합니다.

핵심 포인트

• 최적 제어 문제 기반의 결정론적 아도인트 매칭 프레임워크를 도입하여 안정적인 학습 목표를 구축했습니다.
• 계산 비용 절감을 위해 보상 관련 신호가 집중되는 궤적 말단 부분에만 계산하는 '절단 아도인트 스키마'를 제안합니다.
• 표준 KL 정규화를 넘어, 정렬 강도와 분포 보존 사이의 유연한 트레이드오프를 가능하게 하는 일반화된 프레임워크를 제공합니다.
• 실험 결과(SiT-XL/2, FLUX.2-Klein-4B)에서 여러 정렬 지표 및 다양성, 모드 보존 측면에서 일관되고 상당한 개선을 입증했습니다.