OSDN: Linear Attention에서 증명 가능한 온라인 전처리(Online Preconditioning)를 통한 Delta Rule의

Linear attention (선형 어텐션) 및 state-space models (상태 공간 모델)는 softmax attention (소프트맥스 어텐션)의 대안으로 일정한 메모리 사용량을 제공하지만, in-context associative recall (문맥 내 연상 회상) 능력에서 종종 어려움을 겪습니다. Delta Rule (델타 규칙)은 각 토큰을 온라인 gradient descent (경사 하강법)의 한 단계로 기록함으로써 이 문제를 완화합니다. 그러나 Delta Rule의 step size (단계 크기)는 내부 목적 함수의 feature-wise curvature (특징별 곡률)를 무시하는 단일 스칼라 게이트 (scalar gate)에 의존합니다. 본 논문에서는 hypergradient feedback (하이퍼그레이디언트 피드백)을 통해 온라인으로 업데이트되는 diagonal preconditioner (대각 전처리 도구)로 스칼라 게이트를 보강한 Online Scaled DeltaNet (OSDN)을 제안합니다. 결정적으로, 이러한 right-preconditioning (우측 전처리)은 대수적으로 write-side key (쓰기 측 키)의 per-feature scaling (특징별 스케일링)과 동일합니다. 이러한 등가성 덕분에 OSDN은 고차원 state overhead (상태 오버헤드)를 발생시키지 않으면서 DeltaNet의 하드웨어 친화적인 chunkwise parallel pipeline (청크 단위 병렬 파이프라인)을 엄격하게 보존할 수 있습니다. 이론적으로, 내부 regression loss (회귀 손실)의 exact-quadratic structure (정확한 이차 구조)를 활용하여, 우리는 right-Newton comparator (우측 뉴턴 비교 대상)에 대해 super-geometric convergence (초기하 수렴)를 확립하고 알고리즘과 일치하는 token-local residual contraction bound (토큰 로컬 잔차 수축 경계)를 증명합니다. 비정상적(non-stationary) 문맥을 처리하기 위해, 우리는 오래된 보정(calibration)을 동적으로 갱신하는 Adaptive Preconditioner Forgetting (APF, 적응형 전처리 망각)을 추가로 도입합니다. 실험적으로 OSDN은 다양한 규모에서 강력한 성능을 입증합니다. 340M 파라미터 규모에서 OSDN은 DeltaNet 대비 JRT 스타일의 in-context recall (문맥 내 회상)을 32% 향상시킵니다. 1.3B 파라미터로 확장했을 때, 일반적인 downstream tasks (하위 작업, 예: perplexity 및 LongBench)에서는 대등한 성능을 유지하면서 recall residual ratio (회상 잔차 비율)를 39% 감소시켰습니다. 이는 우리의 online-preconditioning (온라인 전처리) 메커니즘이 1B(10억) 파라미터 규모에서도 효과적으로 전이되고 증폭됨을 보여줍니다.