The Structural Origin of Attention Sink: Variance Discrepancy, Super Neurons

요약

본 논문은 대규모 언어 모델(LLMs)에서 발생하는 '주의 싱크(Attention Sink)' 현상의 구조적 기원을 규명합니다. 이 현상은 자기 주의 메커니즘의 값 집계 과정에서 발생하는 체계적인 분산 불일치와, 이를 Feed-Forward Network (FFN) 레이어 내의 슈퍼 뉴런 활성화가 증폭시키기 때문에 발생합니다. 연구진은 두 가지 통제된 개입을 통해 이 인과 관계를 검증하고, 궁극적으로 값 집계 출력의 안정성을 보장하는 'head-wise RMSNorm'이라는 새로운 정규화 기법을 제안하여 모델 훈련 속도를 가속화할 수 있음을 입증했습니다.

핵심 포인트

• Attention Sink 현상은 단순한 관찰이 아니라, 자기 주의 메커니즘의 값 집계 과정에서 발생하는 구조적 분산 불일치에 기인한다.
• FFN 레이어 내 채널 희소 다운프로젝션은 이 분산 불일치를 증폭시켜 Attention Sink 형성을 촉진하는 핵심 역할을 한다.
• 연구팀은 주의 마스크 수정 및 표적 토큰 표현의 분산 증폭이라는 두 가지 개입을 통해 싱크 현상이 인과적으로 발생함을 입증했다.
• 제안된 'head-wise RMSNorm'은 값 집계 출력의 안정성을 보장하여, 위치 간 통계적 균형을 복원하고 모델 수렴 속도를 크게 가속화한다.