OSDN: Linear Attention에서 증명 가능한 온라인 전처리(Online Preconditioning)를 통한 Delta Rule의

요약

본 논문은 Linear Attention 및 State-Space Models의 한계인 문맥 내 연상 회상 능력을 개선하기 위해 Online Scaled DeltaNet (OSDN)을 제안합니다. OSDN은 하이퍼그레이디언트 피드백을 통해 온라인으로 업데이트되는 대각 전처리 도구(diagonal preconditioner)를 도입하여 기존 DeltaNet의 스칼라 게이트 한계를 극복했습니다. 이 방법론은 고차원 상태 오버헤드를 발생시키지 않으면서 DeltaNet의 하드웨어 친화적인 병렬 파이프라인을 유지하며, 이론적으로 우측 뉴턴 비교 대상에 대한 초기하 수렴과 토큰 로컬 잔차 수축 경계를 증명합니다. 실험 결과, OSDN은 다양한 규모에서 DeltaNet 대비 in-context recall 성능을 크게 향상시키고 회상 잔차 비율을 감소시키는 강력한 효과를 입증했습니다.

핵심 포인트

• OSDN은 Linear Attention 및 State-Space Models의 문맥 내 연상 회상(in-context associative recall) 문제를 해결하기 위해 제안되었습니다.
• 하이퍼그레이디언트 피드백 기반의 온라인 대각 전처리 도구(diagonal preconditioner)를 도입하여 기존 DeltaNet의 스칼라 게이트 한계를 보강했습니다.
• OSDN은 고차원 상태 오버헤드를 발생시키지 않으면서 하드웨어 친화적인 병렬 파이프라인을 유지할 수 있습니다.
• 이론적으로 우측 뉴턴 비교 대상에 대해 초기하 수렴(super-geometric convergence)과 토큰 로컬 잔차 수축 경계를 증명했습니다.
• 실험적으로 OSDN은 DeltaNet 대비 in-context recall 성능을 최대 32% 향상시키고, 회상 잔차 비율을 39% 감소시키는 효과를 보였습니다.