이산 흐름 매칭 (Discrete Flow Matching)을 위한 시간 재매개변수화된 누적 강도 외삽 샘플러
요약
이산 흐름 매칭(DFM)의 효율적인 샘플링을 위해 제안된 TR-CIE 샘플러에 관한 연구입니다. 시간 재매개변수화와 누적 강도 외삽 기술을 통해 추가적인 모델 평가 없이도 제한된 NFE 환경에서 샘플링 품질을 크게 향상시킵니다.
핵심 포인트
- TR-CIE 샘플러는 시간 재매개변수화를 통해 샘플링 강성 문제를 완화함
- 누적 강도 외삽을 도입하여 비균일 시간 그리드에서의 근사 정확도 개선
- 추가적인 모델 평가(NFE) 없이 표준 샘플러 대비 높은 품질 제공
- 텍스트 생성 및 텍스트-이미지 벤치마크에서 성능 입증
이산 흐름 매칭 (Discrete Flow Matching, DFM)은 연속 시간 마르코프 체인 (Continuous-time Markov chain) 역학을 통해 이산 상태 공간에서의 생성 모델링을 위한 원칙적인 프레임워크를 제공합니다. 실제로 DFM을 위한 샘플링에는 일반적으로 $\tau$-leaping과 같은 이산화 (Discretization) 방식이 사용되지만, 제한된 함수 평가 횟수 (NFE) 하에서의 효율적인 샘플링 방법은 여전히 연구가 부족한 상태입니다. 이러한 격차를 해소하기 위해, 우리는 함수 평가가 제한적일 때 샘플링 품질을 향상시키는 것을 목표로 하는 시간 재매개변수화된 누적 강도 외삽 (Time-Reparameterized Cumulative Intensity Extrapolation, TR-CIE) 샘플러를 제안합니다. TR-CIE는 두 가지 구성 요소로 이루어져 있습니다. 첫째, 스케줄 기반 시간 재매개변수화 (Schedule-based time reparameterization)는 노이즈 스케줄 (Noise schedule)에 따라 시간 그리드 (Time grid)를 재조정합니다. 표준적인 인수분해된 DFM 속도 매개변수화 (Factorized DFM rate parameterizations) 하에서, 이러한 변수 변환은 스케줄 의존적 성장 항을 흡수하고 최종 샘플링 단계 근처의 강성 (Stiffness) 문제를 완화합니다. 둘째, 우리는 누적 강도 외삽 (Cumulative-intensity extrapolation) 업데이트 규칙을 도입합니다. 이전 단계의 캐시된 모델 출력을 이력 항 (History term)으로 재사용함으로써, 이는 결과적으로 생성된 비균일 시간 그리드 (Non-uniform time grid) 상에서의 단계별 누적 강도 (Stepwise cumulative intensities) 근사를 개선합니다. 우리는 누적 강도의 국소 근사 오차 (Local approximation error)를 제한하고 수렴 결과 (Convergence results)를 확립하는 이론적 분석을 제공합니다. 결과적으로 이 샘플러는 단계당 1회의 NFE를 요구하며, 표준 $\tau$-leaping 샘플러와 비교하여 추가적인 모델 평가를 도입하지 않습니다. 합성 작업 (Synthetic tasks), 텍스트 생성 (Text generation), 그리고 텍스트-이미지 벤치마크 (Text-to-image benchmarks)에 대한 광범위한 실험을 통해 우리의 방법이 제한된 NFE 하에서 샘플링 품질을 향상시킨다는 것을 입증합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기