Diffusion Transformers (DiT) 의 이상치 토큰 제어 연구

요약

본 논문은 이미지 생성을 위한 Diffusion Transformers (DiT)에서 발생하는 '이상치 토큰(outlier tokens)' 문제를 다룹니다. 기존 연구가 높은 노름을 가진 소수 토큰에 초점을 맞췄다면, 본 연구는 이 현상이 단순히 극단적인 값 때문이 아니라 손상된 지역 패치 의미론과 관련 있음을 밝혀냈습니다. 이를 해결하기 위해 훈련된 레지스터를 활용하는 Dual-Stage Registers (DSR)라는 개입 기법을 제안했으며, 이는 DiT의 아티팩트를 줄이고 전반적인 생성 품질을 향상시키는 효과를 보였습니다.

핵심 포인트

• DiT 기반 이미지 생성 모델에서 '이상치 토큰' 현상이 관찰됨.
• 이 문제는 단순히 높은 노름 값 때문이 아니라 손상된 지역 패치 의미론(local patch semantics)과 관련 깊음.
• Dual-Stage Registers (DSR)라는 레지스터 기반 개입 기법을 제안함.
• DSR은 확산 과정에서 이상치 아티팩트를 줄이고 생성 품질을 향상시키는 데 효과적임.