Follow the Mean: Reference-Guided Flow Matching

요약

본 논문은 기존의 제어 가능한 생성 방식(파인튜닝, 보조 네트워크 등)의 한계를 극복하고, 플로우 매칭(Flow Matching)을 활용하여 참조 기반의 새로운 제어 방식을 제시합니다. 핵심 아이디어는 모델이 따르는 속도장(velocity field)을 조건부 종점 평균(conditional endpoint mean)을 조작함으로써 원하는 참조 세트(reference set)로 '조향'하는 것입니다. 이를 통해 추가적인 훈련 없이 색상, 스타일, 정체성 등 다양한 측면의 제어가 가능하며, 이는 생성 모델이 매개변수 업데이트가 아닌 데이터 기반으로 적응할 수 있음을 보여줍니다.

핵심 포인트

• 플로우 매칭을 활용하여 참조 세트(reference set)를 변경함으로써 사전 학습된 생성 모델을 조향하는 새로운 제어 방식을 제시함.
• Reference-Mean Guidance는 훈련 없이 참조 은행에서 계산한 종점 평균 보정치를 고정된 모델에 적용하여 다양한 속성(색상, 스타일 등)의 제어를 가능하게 함.
• Semi-Parametric Guidance를 통해 명시적인 평균 앵커와 학습된 잔차 리파이너를 사용하여 추론 시간에도 참조 세트 교체가 가능한 유연성을 확보함.
• 이 접근 방식은 생성 모델 적응의 패러다임을 매개변수 업데이트에서 데이터 기반 조향으로 전환하는 방향을 제시함.