선형 어텐션 모델은 고정된 상태 크기와 토큰당 고정된 계산량을 허용합니다. 하지만 제한된 상태 크기 때문에, 선형 어텐션 모델은 소프트맥스-어텐션 기반 트랜스포머 아키텍처에 비해 긴 컨텍스트 회상(long-context recall)에서 뒤처집니다. 선형 어텐션의 상태 크기를 늘리는 것은 회상 성능을 개선하지만, 더 높은 FLOPs 비용이 따릅니다. 본 연구에서는 희소 주소 지정 방식(sparse addressing scheme)을 사용하여 게이티드 선형 RNN(gated linear RNNs)의 은닉 상태를 수 배에서 훨씬 큰 용량으로 확장하는 아키텍처인 Sparse Delta Memory (SDM)를 소개합니다. SDM은 밀집된 키-값 외적(dense key-value outer product)을 대규모 명시적 메모리에 대한 희소 읽기 및 쓰기로 대체하여 Gated DeltaNet 아키텍처를 확장합니다. 우리는 isoFLOP 제약 조건 하에서 그리고 동일한 수의 파라미터를 사용하여, 더 높은 상태 메모리 용량이 인컨텍스트 학습(in-context learning)과 장문 컨텍스트 검색 작업에서 성능을 크게 향상시킨다는 것을 보여줍니다. 더욱이, SDM 메모리의 초기 상태를 학습하고 따라서 이를 매개변수적 메모리로 사용함으로써, 모델이 광범위한 상식 및 추론 작업에서도 추가적인 개선을 이룬다는 것을 보여줍니다.