이산 확산 모델을 위한 ODE 기반 샘플러

요약

본 논문은 연속 확산 모델의 원리를 이산 확산 모델에 확장하는 방법을 제시합니다. 지수 잔차 흐름(ERFs)을 도입하여, 각 토큰과 위치에 연속적인 잔차 변수를 추가하고 이를 ODE 기반으로 결정론적으로 진화시킵니다. 이러한 프레임워크는 원래 확산 모델의 주변 분포를 보존하며, 일관성 증류 및 다양한 생성 작업에서 성능 개선을 입증합니다.

핵심 포인트

• 이산 확산 모델에 ODE 기반 샘플링 공식화를 적용함.
• 지수 잔차 흐름(ERFs)을 도입하여 이산 상태를 연속적으로 증강함.
• 잔차 변수의 결정론적 진화는 원래 주변 분포 보존을 가능하게 함.
• 일관성 증류를 지원하며 코드/텍스트 생성 등 다양한 벤치마크에서 개선됨.