바닐라 픽셀 확산 트랜스포머의 설계 공간 재고찰

요약

본 논문은 픽셀 공간 확산 모델의 설계 공간을 재고하며, 기존 속도 예측($υ$-prediction) 대신 깨끗한 이미지 예측($υ_0$-prediction)으로 바닐라 트랜스포머를 대체하는 MFlow라는 적응형 매개변수화 기법을 제안합니다. 또한, 생성된 이미지의 고주파 부족 현상을 해결하기 위해 ConvRefiner라는 경량 컨볼루션 모듈을 도입하여 성능을 개선했습니다.

핵심 포인트

• 속도 예측 대신 $υ_0$-prediction으로 바닐라 확산 트랜스포머를 설계 공간 재고찰.
• MFlow는 데이터 주 방향에 걸쳐 두 예측값 사이를 보간하는 적응형 매개변수화 기법을 학습함.
• 모델 용량 증가 시 속도 예측 쪽으로 선호도가 이동하는 경향이 발견됨.
• ConvRefiner 모듈은 사후 훈련을 통해 고주파 통계를 복원하여 생성 품질을 개선함.