Kimi Delta Attention 이해 및 향상

요약: 우리는 Gated Deltanet (GDN)과 Kimi Delta Attention (KDA)의 표현력 차이를 시연하고 설명합니다. 우리는 KDA의 전체 대각 게이트가 반사(reflection) 역할을 하여 단일 단계에서 2D 회전을 수행할 수 있음을 보여줍니다. 하지만 이는 게이트의 범위를 [-1, 1]로 확장하고 델타 규칙 학습률을 [0, 2]로 확장해야 가능하며, 이를 Complex KDA (CKDA)라고 부릅니다. 우리의 이론은 이 형태가 임의의 직교 대각-랭크-원 행렬(orthogonal diagonal-plus-rank-one matrix)을 표현하고 S3, S4, A5 그룹을 추적할 수 있게 하지만 S5는 할 수 없음을 보여줍니다. 우리의 실험은 CKDA가 S3와 S4를 학습할 수 있으며, 오디오 연속성(Audio continuation)에서 유망한 결과를 보이고 표준 KDA에 비해 언어 모델링에서 안정적으로 훈련되고 경쟁력이 있음을 보여줍니다. 논문 제목: Complex KDA: Understanding and Enhancing the Expressivity of Kimi Delta Attention https://i.redd.it/v7oqopy3v1rh1.gif /u/Yossarian_1234 제출 [링크] [댓글]