확장 가능한 Vision Transformers를 위한 Elastic Attention Cores

요약

Vision Transformers(ViTs)의 고해상도 처리 시 발생하는 제곱 복잡도 문제를 해결하기 위해, 소수의 학습된 코어 토큰을 통해 정보를 교환하는 VECA(Visual Elastic Core Attention) 구조를 제안합니다. VECA는 패치 간 직접적인 상호작용 대신 코어를 통신 인터페이스로 활용하여 선형 시간 복잡도 $O(N)$을 달성하며, 추론 시 계산량과 정확도 사이의 탄력적인 조절이 가능합니다.

핵심 포인트

• 기존 ViT의 제곱 스케일링 문제를 해결하기 위해 선형 복잡도 $O(N)$을 갖는 코어-주변부(core-periphery) 구조를 도입함
• 학습된 소수의 코어 임베딩 세트가 패치 토큰 간의 정보 교환을 위한 통신 인터페이스 역할을 수행함
• 중첩된 학습(nested training)을 통해 추론 단계에서 계산 효율성과 모델 정확도 간의 탄력적 절충(trade-off)을 지원함
• 기존 cross-attention 방식과 달리 입력 토큰 전체 세트를 유지하여 정보 병목 현상을 방지함