Cubit: Token Mixer with Kernel Ridge Regression

2017 년 도입 이후 트랜스포머 (Transformer) 는 현대 딥러닝에서 가장 널리 채택된 아키텍처 중 하나가 되었습니다. 위치 인코딩, attention 메커니즘, feed-forward 네트워크를 개선하기 위한 광범위한 노력이 있었음에도 불구하고, 트랜스포머의 핵심 token-mixing 메커니즘은 여전히 attention 입니다. 본 논문에서는 트랜스포머의 attention 모듈이 Nadaraya-Watson 회귀를 수행하는 것으로 해석될 수 있음을 보여줍니다. 즉, 토큰 간의 유사성을 계산하고 이에 따라 해당 값을 집계합니다. 이러한 관점에서 우리는 Kernel Ridge Regression (KRR) 을 활용하는 잠재적인 차세대 아키텍처인 Cubit 를 제안하며, vanilla Transformer 는 Nadaraya-Watson 회귀에 의존합니다. 구체적으로, Cubit 는 KRR 의 closed-form solution 을 포함시켜 classical attention computation 을 수정하고, kernel similarities 를 통한 값 집계와 kernel matrix 의 역수를 통한 정규화를 결합합니다. 학습 안정성을 개선하기 위해 우리는 Limited-Range Rescale (LRR) 을 추가로 제안하며, 이는 value layer 를 제어된 범위 내에서 rescales 합니다. Cubit 는 KRR 기반 아키텍처로 vanilla Transformer 보다 더 강력한 수학적 기초를 제공한다고 주장하며, vanilla Transformer 의 attention 메커니즘은 Nadaraya-Watson 회귀에 해당합니다. 우리는 종합적인 실험을 통해 이 주장을 검증했습니다. 실험 결과는 Cubit 가 더 강력한 long-sequence modeling capability 를 보일 수 있음을 시사합니다. 특히, 트랜스포머 대비 성능 향상은 학습 시퀀스 길이가 커짐에 따라 증가하는 것으로 나타났습니다.