Looped SSMs: 시계열 분류를 위한 깊이 재귀 및 입력 재형성 기법

상태 공간 모델 (State Space Models, SSMs)은 시퀀스 차원을 따라 본질적으로 재귀적 (recurrent)이지만, 최근 Looped Transformers에 적용된 방식인 깊이 재귀 (depth-recurrence, 동일한 블록을 여러 레이어에 걸쳐 반복적으로 재사용하는 방식)는 이 모델 제품군에서 아직 탐구되지 않았습니다. 본 연구에서는 $k$개의 파라미터를 가진 Looped SSM을 $L$번 반복했을 때, 엄격하게 더 작은 가설 공간 (hypothesis space) 내에서 작동함에도 불구하고, 4가지 아키텍처 (LRU, S5, LinOSS, LrcSSM) 및 6가지 시계열 분류 벤치마크 전반에서 $k imes L$개의 독립적인 파라미터를 가진 표준 SSM과 일관되게 유사하거나 이를 능가함을 보여주며, 이를 공식적으로 입증합니다. 더 큰 모델이 Looped 모델을 특수한 사례로 포함하고 있기 때문에, 이러한 우위는 표현력 (expressivity)만으로는 설명될 수 없으며, 대신 깊이 전반에 걸친 파라미터 공유 (parameter sharing)가 최적화 (optimization)를 단순화하는 유익한 귀납적 편향 (inductive bias)임을 시사합니다. 이러한 결과는 깊이 재귀 (depth-recurrence)가 시퀀스 재귀 (sequence-recurrence)와 직교하며 독립적으로 유익하다는 것을 입증합니다. 나아가 우리는 입력 재형성 (input reshaping) 또한 동일하게 간과된 설계 축임을 보여줍니다. 저차원 입력에 대해 타임스텝 (timesteps)을 연결하거나, 고차원 입력에 대해 특징-시간 (feature-time) 결합 차원을 평탄화 (flattening) 및 재청킹 (rechunking)하는 방식은 5개의 무작위 시드 (random seeds)에 대해 모든 모델에서 1~6%의 정확도 향상을 가져옵니다. 두 기술 모두 단독으로 개선 효과를 제공하며 결합 시 시너지 효과를 내는데, 이는 깊이 (depth)와 입력 재형성 (input reshaping)이 시계열 데이터에 대한 SSM의 독립적이고 아직 충분히 탐구되지 않은 두 가지 설계 축임을 시사합니다.