확장 가능한 Vision Transformers를 위한 Elastic Attention Cores [R]

요약

본 논문은 Vision Transformers (ViTs)의 대안적인 빌딩 블록을 제안하며, 기존 ViT가 높은 해상도에서 비용이 많이 드는 $N^2$ 셀프 어텐션을 대체합니다. 대신 코어-주변부 블록 희소 어텐션(core-periphery block-sparse attention) 구조를 가진 백본을 사용하여 계산 효율성을 높였습니다. 이 모델은 다양한 해상도에서 높은 밀집 및 분류 정확도를 유지하며, 코어 토큰 수를 조절하여 어텐션 패턴의 공간적 커버리지와 집중도를 탄력적으로 제어할 수 있다는 장점을 가집니다.

핵심 포인트

• 기존 ViT의 $N^2$ 셀프 어텐션 문제를 해결하기 위해 희소 어텐션 구조를 도입했습니다.
• 제안된 코어-주변부 블록은 계산 복잡도를 $(2NC + C^2)$로 확장하여 효율성을 높였습니다.
• 코어 토큰 수를 조절함으로써 어텐션 패턴의 공간적 커버리지와 집중도를 동적으로 제어할 수 있습니다.
• 모델은 DINOv3와 비교했을 때 경쟁력 있는 정확도를 보이며, 해상도 변화에 안정적입니다.