Alibaba 연구진, DiT의 텍스트 템플릿 토큰이 암시적 의미 레지스터 (implicit semantic registers) 역할을 한다는

요약

Alibaba 연구진이 DiT(Diffusion Transformers) 내 텍스트 템플릿 토큰이 암시적 의미 레지스터 역할을 한다는 사실을 발견했습니다. 이를 통해 객체의 정체성을 유지하면서도 추가 학습 없이 어텐션 연산량을 20% 절감할 수 있는 가지치기 규칙을 제안했습니다.

핵심 포인트

• 텍스트 템플릿 토큰이 객체 정체성을 유지하는 레지스터 역할 수행
• 인과적 해석 가능성을 통한 DiT 내부 메커니즘 규명
• 추가 학습이 필요 없는(training-free) 효율적인 가지치기 가능
• 어텐션 FLOPs의 약 20%를 제거하여 연산 효율성 증대