Follow the Mean: Reference-Guided Flow Matching
요약
본 논문은 기존의 제어 가능한 생성 방식(파인튜닝, 보조 네트워크 등)의 한계를 극복하고, 플로우 매칭(Flow Matching)을 활용하여 참조 기반의 새로운 제어 방식을 제시합니다. 핵심 아이디어는 모델이 따르는 속도장(velocity field)을 조건부 종점 평균(conditional endpoint mean)을 조작함으로써 원하는 참조 세트(reference set)로 '조향'하는 것입니다. 이를 통해 추가적인 훈련 없이 색상, 스타일, 정체성 등 다양한 측면의 제어가 가능하며, 이는 생성 모델이 매개변수 업데이트가 아닌 데이터 기반으로 적응할 수 있음을 보여줍니다.
핵심 포인트
- 플로우 매칭을 활용하여 참조 세트(reference set)를 변경함으로써 사전 학습된 생성 모델을 조향하는 새로운 제어 방식을 제시함.
- Reference-Mean Guidance는 훈련 없이 참조 은행에서 계산한 종점 평균 보정치를 고정된 모델에 적용하여 다양한 속성(색상, 스타일 등)의 제어를 가능하게 함.
- Semi-Parametric Guidance를 통해 명시적인 평균 앵커와 학습된 잔차 리파이너를 사용하여 추론 시간에도 참조 세트 교체가 가능한 유연성을 확보함.
- 이 접근 방식은 생성 모델 적응의 패러다임을 매개변수 업데이트에서 데이터 기반 조향으로 전환하는 방향을 제시함.
제어 가능한 생성에 대한 기존 접근 방식은 일반적으로 파인튜닝(fine-tuning), 보조 네트워크(auxiliary networks) 또는 테스트 시간 검색(test-time search)에 의존합니다. 우리는 플로우 매칭(flow matching)이 다른 제어 인터페이스, 즉 예시를 통한 적응을 수용한다는 것을 보여줍니다. 결정론적 보간체(deterministic interpolants)의 경우, 속도장(velocity field)은 조건부 종점 평균(conditional endpoint mean)에 의해서만 지배됩니다. 이 평균을 이동시키면 플로우 자체가 이동합니다. 이는 제어 가능한 생성을 위한 간단한 원리를 제공합니다: 모델이 따르는 참조 세트(reference set)를 변경하여 사전 학습된 모델을 조향하는 것입니다. 우리는 이 아이디어를 두 가지 형태로 구현했습니다. Reference-Mean Guidance는 훈련이 필요 없습니다: 참조 은행(reference bank)으로부터 폐쇄형 공식 종점 평균 보정치(closed-form endpoint-mean correction)를 계산하고 이를 고정된 FLUX.2-klein (4B) 모델에 적용하여, 프롬프트, 시드(seed), 가중치를 고정한 상태에서 색상, 정체성, 스타일 및 구조의 제어를 가능하게 합니다. Semi-Parametric Guidance는 명시적인 평균 앵커(mean anchor)와 학습된 잔차 리파이너(learned residual refiner)를 통해 동일한 아이디어를 분산시키며, AFHQv2에서 비조건부 DiT-B/4 품질과 일치하는 동시에 추론 시간(inference time)에 참조 세트를 교체할 수 있도록 합니다. 이러한 결과는 더 광범위한 방향을 제시합니다: 매개변수 업데이트가 아닌 데이터를 통해 적응하는 생성 모델입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기