Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 연관 행렬 메모리에 크로네커 델타 규칙을 적용한 새로운 선형 어텐션 아키텍처인 KronLSTM을 제안합니다. 이 모델은 최소 침습적 메모리 재검토 메커니즘을 통해 장문맥 언어 모델링에서 정보 간섭을 줄이고 안정적인 메모리 동역학을 보장합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기우리는 연관 행렬 메모리에 대한 새로운 업데이트 규칙인 크로네커 델타 규칙(Kronecker Delta Rule)에 기반한 선형 어텐션 아키텍처인 KronLSTM을 제안합니다. KronLSTM은 xLSTM 계열을 확장하여, 메모리를 행렬 공간의 단일 방향으로만 수정하면서 목표 연관성을 교정하는 메모리 재검토 메커니즘을 갖추고 있습니다. 이러한 최소 침습적(minimally invasive) 메모리 재검토는 델타 규칙 업데이트와 비교했을 때 이전에 저장된 정보와의 간섭을 줄여주므로, 특히 장문맥 언어 모델링에 매우 적합합니다. 그 결과로 나타나는 메모리 동역학은 마르코프 체인(Markov chain)으로 수학적으로 기술될 수 있으며, 이는 정상 상태 분포(steady-state distribution)로 수렴하고, 메모리 행렬의 기대 노름(expected norm)은 전체 입력 시퀀스 동안 균일하게 유한하게 유지됩니다. 따라서 KronLSTM은 메모리 상태에 대한 추가적인 정규화 및 안정화 메커니즘을 요구하지 않으면서도 안정적인 메모리 동역학을 보장합니다. 실험 결과는 KronLSTM이 (Gated) DeltaNet 계열 모델을 포함하여 기존의 선형 어텐션 아키텍처들과 경쟁할 뿐만 아니라, 특히 장문맥 벤치마크에서 강력한 성능을 보여준다는 것을 입증합니다. 이러한 결과는 크로네커 델타 규칙이 순환 선형 어텐션 아키텍처 내 안정적인 연관 메모리를 위한 효과적이고 해석적으로 다루기 쉬운(analytically tractable) 기반임을 확립합니다. 저희의 코드(https://github.com/NX-AI/KronLSTM)와 모델(https://huggingface.co/collections/NX-AI/kronlstm)은 오픈 소스입니다.