온도 샘플링과 분산 보정 시간 이동을 통한 확산 모델 다양성 확보
요약
본 논문은 확산 모델의 한계인 희귀 모드 도달 어려움을 해결하기 위해 '온도 샘플링' 기법을 제안합니다. 여기에 추가로, 분산 증가 문제를 해결하는 '분산 보정 시간 이동(variance-corrective time shifting)'이라는 비훈련적 방법을 도입했습니다. 이 방법은 모델의 다양성을 높이면서도 샘플 품질과 조건 충실도를 유지하여 다양한 확산 모델에 적용 가능함을 입증합니다.
핵심 포인트
- 확산 모델은 희귀 모드 도달에 어려움이 있어 다양성 확보가 필요함.
- 분산 보정 시간 이동(variance-corrective time shifting)을 통해 품질 저하 없이 다양성을 높일 수 있음.
- 추가 훈련 없이도 DiT, Stable Diffusion 등 다양한 모델에서 성능 향상을 입증함.
- 온도 개입 시점을 조절하여 거시적/미세 제어(coarse-to-fine control)를 가능하게 함.
확산 모델(Diffusion models)은 훈련 분포를 충실히 재현하지만, 그 불균형까지 물려받고 희귀하거나 과소 표현된 모드에 도달하기 어렵다는 문제가 있습니다. 자연스러운 추론 시간의 해결책 중 하나는 $0 < \gamma < 1$인 높은 온도 목표 분포 $p^{(\gamma)}_0(x) \propto p_0(x)^\gamma$에서 샘플링하는 것입니다. 이는 지배적인 모드를 평탄화하고 희귀한 모드를 끌어올립니다. 하지만, 모드에 대한 재가중치를 올바르게 적용하면서 단순하게 스코어를 조정하면, 각 모드의 분산까지 부풀려져 역 확산 과정이 깨지고 샘플 품질이 저하됩니다. 우리는 분산 보정 시간 이동(variance-corrective time shifting)이라는 훈련이 필요 없는 해결책을 도입했습니다. 이는 시프트된 타임스텝에서 네트워크에 질의하고, 그 결과로 얻은 스코어를 $\gamma$로 조정하여 분산 증가를 상쇄하는 동시에 모드 재가중치를 유지합니다. 이 보정 과정은 단순한 온도 샘플링을 사전 훈련된 확산 모델 및 흐름 매칭(flow-matching) 백본에 대한 실용적인 다양성 조절기(diversity knob)로 변환시키며, 추가 훈련 없이도 DiT, Stable Diffusion, Motion Diffusion 모델 전반에서 최소한의 샘플 품질 및 조건 충실도 비용으로 일관된 성능 향상을 입증합니다. 나아가 우리는 온도 개입 시점이 거시적-미세 제어(coarse-to-fine control)를 가능하게 함을 보여줍니다: 높은 노이즈 단계는 모드 전반에 걸친 구성적 다양성을 유도하는 반면, 낮은 노이즈 단계는 고정된 구성을 유지하면서 국소적인 외관 변화를 유도합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기