효율적인 멀티헤드 어텐션 을 위한 적응형 헤드 예산 할당

요약

본 논문은 표준 다중 헤드 어텐션(Multi-Head Attention)이 모든 입력에 대해 균일하게 작동하여 불필요한 계산 비용을 발생시키는 문제를 해결하고자 합니다. 이를 위해 'BudgetFormer'라는 적응형 메커니즘을 제안하며, 이 모델은 각 입력에 필요한 주의 헤드의 수('헤드 예산')와 가장 정보량이 많은 헤드를 선택하는 '관련성 분포'를 동적으로 학습합니다. 실험 결과, BudgetFormer는 표준 어텐션 대비 FLOPs 및 메모리 사용량을 크게 줄이면서도 텍스트 분류 등 다양한 작업에서 우수한 성능을 입증했습니다.

핵심 포인트

• 표준 다중 헤드 어텐션은 입력의 복잡성과 관계없이 모든 헤드를 균일하게 활성화하여 비효율적이다.
• BudgetFormer는 각 입력에 필요한 주의 헤드의 수(헤드 예산)와 관련성 분포를 동적으로 학습하는 적응형 메커니즘을 도입했다.
• 제안된 모델은 계산 자원을 효율적으로 할당함으로써 FLOPs 및 메모리 사용량을 줄인다.
• 탐험과 활용의 트레이드오프 기반 훈련 전략을 통해 효과적인 헤드 구성을 찾도록 유도한다.