학습 가능한 전역 병합을 통한 Diffusion Transformer용 가변 길이 토큰화 (Variable-Length Tokenization)

요약

Diffusion Transformer의 연산 효율성을 높이기 위해 토큰을 병합하여 길이를 조절하는 새로운 가변 길이 토크나이저를 제안합니다. 기존의 절단 방식 대신 데이터 독립적인 학습 가능한 전역 병합을 도입하여 표현 정렬 문제를 해결하고 생성 품질을 개선했습니다.

핵심 포인트

• 고정된 압축률 문제를 해결하기 위한 가변 길이 토크나이저 제안
• 토큰 절단 대신 병합 방식을 사용하여 표현 정렬(alignment) 유지
• 데이터 독립적인 학습 가능한 전역 병합(learnable global merging) 도입
• ImageNet 실험 결과 기존 방식 대비 우수한 gFID-연산량 트레이드오프 달성