발산 유도 가중치 디노이징을 통한 강건한 확산 모델 (Robust Diffusion Models via Divergence-Induced
요약
데이터 오염 상황에서도 확산 모델의 성능을 유지하기 위해 f-발산을 활용한 새로운 디노이징 손실 함수를 제안합니다. 국소 발산 이론을 바탕으로 샘플별 기여도를 조절하는 가중치를 적용하여, 오염된 데이터의 영향을 억제하고 모델의 강건성을 높였습니다.
핵심 포인트
- f-발산 기반의 비선형 변환을 통한 새로운 훈련 대리 함수 제시
- 데이터 오염(Contamination) 상황에서 모델의 강건성 확보
- Hellinger 발산 등을 활용해 큰 오차를 가진 샘플의 영향력 억제
- CIFAR-10 데이터셋 실험 결과, 기존 방식 대비 FID 성능 대폭 개선
우리는 확산 모델 (diffusion models)의 표준 MSE 디노이징 손실 (denoising loss)을 f-발산 (f-divergence)에 의해 유도된 비선형 변환으로 교체함으로써, 데이터 오염 (data contamination) 상황에서 적은 추가 계산 오버헤드로 경험적 성능을 향상시키는 간단하고 강건한 훈련 대리 함수 (robust training surrogate)를 제시합니다. 이론적 토대는 국소 발산 (local divergence) 구성에 기반합니다. DDPM의 가우시안 역커널 (Gaussian reverse-kernel) 구조 하에서, 각 단계별 우도비 (likelihood ratio)는 스칼라 불일치 (scalar mismatch)에 의해 매개변수화된 로그 정규 분포 (lognormal distribution)를 따르므로, 각 단계에서의 조건부 f-발산은 디노이징 오차 (denoising error)의 1차원 함수로 축소됩니다. 이러한 국소 발산들을 합산하면 확산 훈련을 발산 유도 가중치 디노이징 (divergence induced weighted denoising)으로 통합하는 훈련 목적 함수를 얻게 되며, 여기서 유도된 발산의 미분값은 각 샘플의 기여도를 조절하는 잔차 공간 영향 가중치 (residual-space influence weight)로 작용합니다. 유계 영향 발산 (Bounded-influence divergences, 예: Hellinger, negative exponential)은 큰 오차를 가진 샘플을 억제하며, 특히 Hellinger 발산은 명시적인 지수 가중치 (exponential weight)를 생성하여 이 프레임워크를 강건한 M-추정 (robust M-estimation)과 연결합니다. 경험적으로, 30% 오염이 발생한 CIFAR-10 데이터셋에서 NED는 FID를 93.0 (KL)에서 77.5로 낮추었으며, Huber 및 clipped MSE와 같은 표준 강건 손실 함수들보다 뛰어난 성능을 보였습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기