확산 모델 (Diffusion Models)의 흐름 증류 (Flow Distillation)를 위한 정량적 근사 프레임워크

우리는 몇 단계 샘플링 (few-step sampling)을 학습된 흐름 맵 (flow maps)의 합성 하에서의 오차 전파 (error propagation)로 간주하여, 확산 증류 (diffusion distillation)를 위한 정량적 근사 프레임워크를 개발합니다. 확률 흐름 상미분 방정식 (probability-flow ODE)에 대한 궤적 증류 (trajectory distillation)에 초점을 맞추어, 우리는 기저 역학 (underlying dynamics)이 경직 (stiff)되는 저노이즈 다중 모드 영역 (low-noise multimodal regimes)에서 국소 근사 오차 (local approximation errors)가 강력하게 증폭될 수 있음을 보여줍니다. 분석적으로 다루기 쉬운 가우시안 혼합 오른슈타인-울렌벡 (Gaussian-mixture Ornstein--Uhlenbeck) 설정에서, 우리는 두 가지 핵심 난제를 분리합니다: 시간 의존적 스코어 필드 (time-dependent score field)를 근사하는 것과, 확률 흐름 ODE의 시간 적분된 자코비안 상한 (time-integrated Jacobian bound)에 의해 지배되는 역학적 증폭 (dynamical amplification)을 제어하는 것입니다. 근사 측면에서는, ReLU--ReQU 네트워크가 목표 정확도에 대해 다항 로그 (polylogarithmically) 단위로 확장되는 깊이와 너비를 가지며, 혼합 기하학 (mixture geometry)에 따라 명시적으로 시간 전체에 걸쳐 가우시안 혼합 스코어를 균일하게 근사함을 보여주는 구성적 $L^p(p_t)$ 보장을 증명합니다. 안정성 측면에서는, 확률 흐름 속도 (probability-flow velocity)의 공간 립시츠 상수 (spatial Lipschitz constant)에 대한 명시적 상한 $L(t)$를 도출하고, 이를 $\int_s^t L(u),du$에 의해 지배되는 흐름 맵 안정성 추정치로 변환하여, 경직된 영역에서의 후기 시간 증폭 (late-time amplification)을 계산 가능하게 만듭니다. 이러한 추정치를 바탕으로, 우리는 깊은 잔차 합성 (deep residual compositions)이 장기 수송 (long-horizon transport)을 효율적으로 근사하며, 전역 오차 (global error)가 안정성 증폭 인자 (stability amplification factor)에 의해 제어됨을 증명하고, 단일 단계 증류 (one-step distillation)가 구조적으로 불리한 립시츠 불일치 영역 (Lipschitz-mismatch regime)을 식별합니다. 결과적으로 도출된 이론은 누적 안정성 좌표 (cumulative stability coordinate)에서의 균일 분할을 통해 얻어지는 안정성 균형 비균일 시간 그리드 (stability-balanced non-uniform time grid)를 제공합니다. 실험 결과는 이러한 예측을 뒷받침하며, 균일 그리드와 비교했을 때 8개의 세그먼트를 사용하여 엔드 투 엔드 상대적 MSE (end-to-end relative MSE)를 최대 51.9%까지 감소시킵니다.