생성 모델링을 위한 삼체 산란 (Three-Body Scattering)
요약
삼체 산란 모델링(TBSM)은 에너지 거리를 활용하여 단일 단계 생성기를 학습시키는 새로운 연구 방법론을 제안합니다. 각 투사체가 실제 소스에는 끌리고 생성된 소스로부터 밀려나는 상호작용을 통해 고차원 생성 성능을 극대화합니다.
핵심 포인트
- 에너지 거리를 투사체 간의 상호작용으로 전환하여 단일 단계 생성 유도
- ImageNet-256에서 NFE=1일 때 매우 낮은 FID(1.63~2.23) 달성
- 확산 모델, Drift 역학, GAN 목적 함수를 연결하는 설계 지도 제공
- 온라인 기댓값 추적을 통해 필드 노이즈를 효과적으로 감소
현대적인 생성 모델 (Generative models)은 일반적으로 적대적 비평가 (Adversarial critic), 규정된 노이즈-데이터 경로 (Noise-to-data path), 또는 자기회귀적 인수분해 (Autoregressive factorization)에 의존합니다. 대신, 우리는 적절한 분포 에너지 (Distributional energy)가 샘플 수준의 움직임을 유도할 수 있으며, 단일 단계 생성기 (One-step generator)를 위한 직접적인 회귀 감독 (Regression supervision)을 제공할 수 있음을 보여줍니다. 생성을 위한 삼체 산란 모델링 (Three-Body Scattering Modeling, TBSM)은 에너지 거리 (Energy distance)를 투사체당 일정한 크기의 상호작용으로 전환합니다: 각 투사체는 하나의 실제 소스 (Real source)를 향해 끌리고, 독립적으로 생성된 하나의 소스로부터 밀려납니다. 투사체와 그 조건 (Condition)이 주어졌을 때, 그 기댓값은 $\frac12D_E^2(P_θ,Q)$의 $2$-Wasserstein 경사 흐름 속도 (Gradient-flow velocity)와 같습니다. $B$개의 동결된 타겟 (Frozen-target) 이벤트 배치는 $O(B)$개의 샘플 수준 손실 (Sample-level losses)을 생성하며, 각 손실은 Drifting Models와 같은 방법에서 사용되는 미니배치 전체의 모든 쌍 필드 (All-pairs field) 대신 조건으로 하나의 참조 (Reference)를 사용합니다. 이러한 조건부 기댓값을 온라인으로 추적하면 필드 노이즈 (Field noise)를 줄일 수 있습니다. 동결된 이미지 특징 (Frozen image features)에서 산란 (Scattering)을 사용함으로써, TBSM은 ImageNet-256에서 단일 단계 생성기를 학습시켜, NFE${}=1$에서 픽셀 공간의 PixelDiT-XL로 FID${}=2.23$을, 잠재 공간 (Latent-space)의 DiT-XL로 FID${}=1.63$을 달성했습니다. 우리는 확산 관련 감독 (Diffusion-related supervision), Drift 유사 역학 (Drift-like dynamics), 그리고 GAN 유사 목적 함수 (GAN-like objectives)를 연결하는 설계 지도 (Design map)를 제공합니다. 이러한 결과는 추적된 산란 (Tracked scattering)이 고차원 단일 단계 생성 (High-dimensional one-step generation)으로 가는 경로임을 입증합니다. 코드: https://github.com/sp12138/TBSM.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기