[논문] Sparse Delta Memory: 희소성을 통해 선형 RNN의 상태를 확장하다

원문 발행 2026. 07. 10. 13:45원문 언어 영어AI 한국어 번역r/LocalLLaMA 원문 보기

요약

본 논문은 희소 주소 지정 방식을 활용하여 게이티드 선형 RNN(gated linear RNNs)의 상태 메모리 용량을 확장한 Sparse Delta Memory (SDM) 아키텍처를 제안합니다. SDM은 밀집된 키-값 외적을 대규모 명시적 메모리에 대한 희소 읽기/쓰기로 대체하여, 기존 선형 어텐션 모델의 장문 컨텍스트 회상 한계를 극복합니다.

핵심 포인트

SDM은 희소 주소 지정 방식으로 상태 메모리 용량을 확장함.
밀집 외적을 희소 읽기/쓰기로 대체하여 효율성을 높임.
FLOPs 제약 하에서 더 큰 상태 메모리가 성능 향상에 기여함을 입증함.
초기 상태 학습을 통해 모델의 상식 및 추론 능력을 개선할 수 있음.

선형 어텐션 모델은 고정된 상태 크기와 토큰당 고정된 계산량을 허용합니다. 하지만 제한된 상태 크기 때문에, 선형 어텐션 모델은 소프트맥스-어텐션 기반 트랜스포머 아키텍처에 비해 긴 컨텍스트 회상(long-context recall)에서 뒤처집니다. 선형 어텐션의 상태 크기를 늘리는 것은 회상 성능을 개선하지만, 더 높은 FLOPs 비용이 따릅니다. 본 연구에서는 희소 주소 지정 방식(sparse addressing scheme)을 사용하여 게이티드 선형 RNN(gated linear RNNs)의 은닉 상태를 수 배에서 훨씬 큰 용량으로 확장하는 아키텍처인 Sparse Delta Memory (SDM)를 소개합니다. SDM은 밀집된 키-값 외적(dense key-value outer product)을 대규모 명시적 메모리에 대한 희소 읽기 및 쓰기로 대체하여 Gated DeltaNet 아키텍처를 확장합니다. 우리는 isoFLOP 제약 조건 하에서 그리고 동일한 수의 파라미터를 사용하여, 더 높은 상태 메모리 용량이 인컨텍스트 학습(in-context learning)과 장문 컨텍스트 검색 작업에서 성능을 크게 향상시킨다는 것을 보여줍니다. 더욱이, SDM 메모리의 초기 상태를 학습하고 따라서 이를 매개변수적 메모리로 사용함으로써, 모델이 광범위한 상식 및 추론 작업에서도 추가적인 개선을 이룬다는 것을 보여줍니다.

AI 자동 생성 콘텐츠

원문 바로가기

[논문] Sparse Delta Memory: 희소성을 통해 선형 RNN의 상태를 확장하다

요약

핵심 포인트

댓글