DAMI: 게이팅 선형 어텐션에서 향상된 장문맥 검색을 위한 이중축 메모리 초기화

원문 발행 2026. 10. 31. 01:39원문 언어 영어AI 한국어 번역arXiv cs.CL 원문 보기

요약

게이팅 선형 어텐션의 유한 상태 메모리는 장문맥 검색에 한계를 가집니다. 이에 DAMI(Dual-Axis Memory Initialization)를 제안하며, 이는 헤드 전반에 기하학적 시간 스케일을, 레이어 전반에 입력 민감도 프로파일을 부여하여 초기화합니다. 이 방법은 Mamba-2와 RWKV-7 등 여러 모델에서 기존 대비 검색 정확도를 크게 향상시키는 것이 입증되었습니다.

핵심 포인트

선형 어텐션의 메모리 유지력은 상태 감쇠에 의존하며, 장문맥 처리에 한계가 있습니다.
DAMI는 이중축 초기화 기법을 통해 모델의 검색 정확도를 향상시킵니다.
헤드에는 기하학적 시간 스케일을, 레이어에는 입력 민감도 프로파일을 부여합니다.
Mamba-2 및 RWKV-7 등에서 DAMI는 평균 RULER 스타일 검색 정확도를 크게 개선했습니다.

선형 어텐션(Linear attention)은 시퀀스 길이와 선형적으로 증가하지만, 그 유한 상태 메모리(finite-state memory)는 장문맥 검색을 제한할 수 있습니다. 게이팅 선형 순환(gated linear recurrences)에서 메모리 유지력은 상태 감쇠(state decay)에 의존하며, 이는 게이트 매개변수 $A_{log}$와 $dt_{bias}$, 그리고 입력 활성화 값들에 의해 공동으로 형성됩니다. 제어된 Gated DeltaNet (GDN) 실험에서 두 매개변수 모두 학습 후에도 초기 값과 높은 상관관계를 유지하는 것이 관찰되었으며, 이는 초기화(initialization)의 중요성을 강조합니다. 따라서 우리는 학습 전에 이 매개변수들을 공동으로 구성하는 Dual-Axis Memory Initialization (DAMI)을 도입했습니다. DAMI는 다양한 검색 거리를 위해 헤드(heads) 전반에 걸쳐 기하학적 시간 스케일(geometric timescales)을 할당하고, 레이어(layers) 전반에는 낮음-높음-낮음(low-high-low)의 입력 민감도 프로파일을 부여합니다. 작은 활성화 샘플은 학습 가능한 매개변수를 추가하지 않으면서 GDN 계열 구현이 두 가지 행동 목표를 모두 충족하도록 보정합니다. GDN, KDA, GDN2, Mamba-2, 그리고 RWKV-7 전반에 걸쳐, DAMI는 해당 무작위 초기화(random-initialization) 기준선 대비 평균 RULER 스타일 검색 정확도를 5.29%에서 16.71% 포인트까지 향상시킵니다. 언어 모델링(language modeling), 상식 추론(commonsense reasoning), 그리고 2K 실제 세계 검색에서의 성능은 해당 기준선들과 광범위하게 비교 가능합니다. 저희 코드는 https://speedai.com/research/dami에서 이용할 수 있습니다.

AI 자동 생성 콘텐츠

원문 바로가기

DAMI: 게이팅 선형 어텐션에서 향상된 장문맥 검색을 위한 이중축 메모리 초기화

요약

핵심 포인트

댓글