궤적 매칭을 넘어: 주변 분포 정렬을 통한 리플로우 (Reflow)

확산 모델 (Diffusion models) 및 연속 흐름 생성 모델 (continuous-flow generative models)은 고품질 생성을 달성하며, 이들의 결정론적 샘플링 (deterministic sampling)은 학습된 ODE 역학 (ODE dynamics)을 해결하는 것으로 공식화될 수 있습니다. 그러나 정확한 ODE 이산화 (discretization)는 종종 많은 단계를 필요로 하며, 이는 효율적인 소수 단계 (few-step) 생성을 핵심 과제로 만듭니다. 가속 전략 중에서, 리플로우 기반 증류 (reflow-based distillation)는 교사 ODE 궤적 (teacher ODE trajectories)을 단순화하여 학생 모델이 더 적은 단계로 교사 수송 (teacher transport)을 근사할 수 있도록 합니다. 우리는 이 패러다임의 이론적 한계, 즉 궤적 매칭 (trajectory matching)이 학생 모델에 의해 유도되는 분포를 불충분하게 결정할 수 있다는 점을 식별했습니다. 특히, 두 학생 모델이 동일한 궤적 매칭 손실 (trajectory-matching loss)을 달성하면서도 서로 다른 종단 주변 분포 (endpoint marginal distributions)를 유도할 수 있으며, 이는 생성 품질의 차이로 이어질 수 있습니다. 이 한계를 해결하기 위해, 우리는 각 증류 구간의 종단에서 학생이 유도한 주변 분포 (student-induced marginal)와 그에 상응하는 교사 주변 분포 (teacher marginal) 사이의 불일치를 처벌하는 주변 정렬 정규화 항 (marginal-alignment regularizer)을 도입합니다. 이 정규화 항은 보조적인 학습 가능 네트워크 (auxiliary trainable networks)나 적대적 최적화 (adversarial optimization)를 필요로 하지 않고, 학생 모델에 의해 유도된 ODE를 따라 로그 밀도 변화 (log-density changes)를 추적하고 동결된 교사 모델로부터 스코어 (scores)를 평가함으로써 계산됩니다. 결과적으로 도출된 프레임워크는 바닐라 리플로우 (vanilla reflow)와 구간별 리플로우 (piecewise reflow)를 포함한 리플로우 제품군 (reflow family)에 균일하게 적용됩니다. 우리는 또한 국소적 주변 정렬 (local marginal alignment)이 학생이 유도한 분포와 교사가 유도한 분포 사이의 최종 시간 불일치 (final-time discrepancy)를 제어함을 보여주는 망원 급수 총 변동 경계 (telescoping total-variation bound)를 증명합니다. 벤치마크 백본 (benchmark backbones)에 대한 실험은 소수 단계 생성을 위한 제안된 방법의 효과를 입증합니다.