Subquadratic 아키텍처에 관하여: 응용 분야에서 원리까지

Transformer는 현대 시퀀스 모델링을 지배하지만, 그들의 이차(quadratic) 어텐션은 상당한 계산 비용을 초래합니다. Subquadratic 아키텍처는 확장 가능한 대안을 제공합니다. 하지만 어떤 디자인이 가장 효과적인 시퀀스 모델을 만들어내는지 여전히 불분명합니다. 우리는 세 가지 주요 접근 방식인 xLSTM, Mamba-2, 그리고 Gated DeltaNet을 비교합니다. 우리는 복잡한 의존성을 가진 작업들, 즉 (1) 코드 모델 사전 학습, (2) 대규모 언어 모델(LLM)로부터의 코드 모델 증류(distillation), 그리고 (3) 시계열 파운데이션 모델 사전 학습에 걸쳐 이 모델들을 평가합니다. 이러한 설정 전반에 걸쳐 xLSTM이 가장 강력한 전체 성능을 제공합니다. xLSTM의 우위를 설명하기 위해, 우리는 통합된 공식화(unified formulation)를 제시하고 상태 추적(state tracking) 및 메모리 역학(memory dynamics)에 초점을 맞춰 근본적인 아키텍처 메커니즘을 분석합니다. 우리의 결과는 xLSTM이 게이팅 스킴(gating scheme)을 통해 더욱 유연하고 안정적인 메모리 보정(memory correction)을 가능하게 함을 보여줍니다. 우리는 통제된 합성 길이 일반화 작업(controlled synthetic length-generalization tasks)에서 이러한 발견들을 입증합니다. 전반적으로, 우리의 연구 결과는 xLSTM이 복잡한 작업에서 얻는 이득이 견고한 상태 추적과 축적(accumulation)에서 비롯됨을 시사합니다.