Diverse Sampling in Diffusion Models with Marginal Preserving Particle Guidance
요약
본 논문은 확산 모델 및 플로우 매칭 모델의 샘플링 과정에서 품질을 유지하며 다양성을 확보하는 새로운 가이드 메커니즘인 EDDY를 제안합니다. EDDY는 Fokker-Planck 방정식의 대칭성을 활용하여, 입자 궤적 변화에도 마진 분포가 보존되는 드리프트 섭동을 사용합니다. 이 방법은 추가 학습 없이도 개별 입자의 다양성을 촉진하며, 계산 비용이 높은 가이드 신호에 대한 효율적인 근사치를 제공하여 실용성과 성능을 모두 높였습니다.
핵심 포인트
- EDDY(Exact-marginal Diversification via Divergence-free dYnamics)는 확산 모델의 샘플링 다양성을 향상시키는 새로운 가이드 메커니즘이다.
- 이 방법은 Fokker-Planck 방정식의 대칭성을 활용하여 마진 분포를 보존하는 드리프트 섭동을 사용한다.
- 추가 학습 없이도 입자 수준에서 다양성을 촉진하며, 강력한 분포 충실도를 유지한다.
- 계산 비용 절감을 위해 실용적이고 효과적인 근사치를 제안하여 실제 적용 가능성을 높였다.
우리는 샘플 생성 과정에서 다양성을 유지하면서 품질을 보존하는 확산 및 플로우 매칭 모델용 가이드 메커니즘인 EDDY (Exact-marginal Diversification via Divergence-free dYnamics) 를 제시합니다. EDDY 는 Fokker-Planck 방정식의 대칭성을 활용하여, 입자 궤적을 변경하면서 진화하는 마진 분포를 보존하는 드리프트 섭동을 사용합니다. 이 원리는 반발 방향으로 구성된 커널 기반 비대칭 쌍대 행렬 필드를 통해 구현됩니다. 결과적으로 발산 없는 역학은 개별 입자의 마진 분포를 추가적인 학습 없이도 보존하면서 입자 수준에서 다양성을 촉진합니다. 텍스트 생성 이미지 생성과 같은 경우 감각 임베딩을 계산하는 가이드가 계산 비용이 많이 들 수 있으므로, 우리는 실제적이고 효과적인 효율적인 해법으로 실용적인 근사치를 제안했습니다. 합성 분포와 텍스트-이미지 생성 실험에서는 EDDY 가 일반적인 베이스라인에 비해 다양성을 개선하면서 강력한 분포 충실도를 유지함을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기