SSM 기반 시퀀스 모델의 수학적 해석: 비선형 진동자 네트워크로 접근

요약

최신 시퀀스 및 언어 모델에서 사용되는 State Space Models (SSM)의 계산 과정을 수학적으로 명확히 설명합니다. 본 연구는 SSM을 '정확하게 풀 수 있는 비선형 진동자 네트워크(exactly solvable nonlinear oscillator network)'와 수학적 대응 관계를 확립했습니다. 특히, S4D와 같은 특정 SSM 구현체를 링 네트워크 토폴로지에 임베딩하여, 입력 데이터를 공간을 따라 이동하는 파동으로 인코딩합니다. 이를 통해 전체 순전파 과정에 대한 정확한 연산자 표현(operator)을 도출하고

핵심 포인트

• State Space Models (SSM)과 비선형 진동자 네트워크 사이에 수학적 대응 관계를 확립하여, SSM의 작동 원리를 물리적으로 해석할 수 있게 했습니다.
• S4D와 같은 특정 SSM 구현체를 링 네트워크 토폴로지에 매핑하고, 입력 데이터를 공간을 따라 이동하는 '활동 파동(waves of activity)'으로 모델링했습니다.
• 전체 순전파 과정에 대한 정확한 연산자 표현을 유도함으로써, 시스템의 완전한 입출력 맵을 분석적으로 특성화할 수 있음을 보여주었습니다.
• 이러한 해석은 현대 SSM 아키텍처 전반에 적용 가능하며, 비선형 진동자 네트워크 관점에서 높은 수준의 해석 가능성(interpretability)을 제공합니다.