Read, Allocate, Route: 픽셀 공간 생성 트랜스포머를 위한 역할 결합 토큰화

요약

SpecSlot은 픽셀 공간 생성 Transformer의 효율성을 높인 새로운 아키텍처입니다. 이 모델은 저주파 구조는 글로벌 어텐션으로, 고주파 디테일은 국소적인 상호작용으로 분리하여 처리합니다. 이를 통해 시퀀스 길이를 늘리지 않으면서 스펙트럼 디테일을 증가시켜 성능과 효율성을 동시에 개선했습니다.

핵심 포인트

• SpecSlot은 글로벌 어텐션과 출력 디테일 처리를 성공적으로 분리합니다.
• 저주파 구조는 전역적 교환을, 고주파 디테일은 국소 모델링으로 처리하여 효율성을 높입니다.
• ImageNet-512에서 FID를 2.84 개선하고 FLOPs 사용량을 줄였습니다.
• DPG-Bench에서 기준 대비 1.06 능가하며 전방향 비용을 40.6% 절감했습니다.