Cubit: Token Mixer with Kernel Ridge Regression

요약

본 논문은 트랜스포머의 핵심 토큰 혼합 메커니즘인 어텐션이 Nadaraya-Watson 회귀로 해석될 수 있음을 밝히고, 이를 기반으로 새로운 아키텍처 Cubit을 제안합니다. Cubit은 Kernel Ridge Regression (KRR) 의 폐쇄형 해를 활용하여 기존의 어텐션 계산 방식을 수정하고, 커널 유사성 및 역행렬을 통한 정규화를 결합했습니다. 실험 결과에 따르면, Cubit은 특히 시퀀스 길이가 길어질수록 트랜스포머 대비 더 강력한 장거리 시퀀스 모델링 능력을 보여줍니다.

핵심 포인트

• 트랜스포머의 어텐션 메커니즘은 수학적으로 Nadaraya-Watson 회귀로 해석될 수 있다.
• Cubit은 KRR의 폐쇄형 해를 활용하여 기존 트랜스포머의 어텐션을 개선한 차세대 아키텍처이다.
• Cubit은 커널 유사성 계산과 커널 행렬 역수를 통한 정규화를 결합하여 안정성을 높인다.
• 추가적으로 Limited-Range Rescale (LRR)을 제안하여 학습 안정성을 개선했다.
• 실험 결과, Cubit은 특히 시퀀스 길이가 길어질수록 트랜스포머보다 우수한 장거리 시퀀스 모델링 성능을 보인다.