위상적 신경 역학 (Topological Neural Dynamics): 시퀀스 모델링을 위한 뉴런 단위 프레임워크

RNN, LSTM, 연속 시간 네트워크 (continuous-time networks), 그리고 Transformer를 포함한 기존의 시퀀스 모델들은 공통된 구조적 원리를 공유합니다. 즉, 동일한 레이어 내의 모든 뉴런이 공유된 매개변수화된 연산자 (parameterized operator)를 통해 함께 진화하는 레이어 단위 역학 (layer-wise dynamics) 방식이며, 이는 개별 뉴런이 독립적으로 진화할 수 있는 자유를 부여하지 않습니다. 그러나 많은 복잡한 역학 시스템에서 풍부한 전역적 행동 (global behavior)은 구조화된 연결성을 통해 상호작용하는 국소적으로 진화하는 단위들로부터 정확히 발생합니다. 이 원리에서 영감을 받아, 우리는 계산의 중심을 레이어 단위에서 뉴런 단위 역학 (neuron-wise dynamics)으로 전환하는 시퀀스 모델링 프레임워크인 위상적 신경 역학 (Topological Neural Dynamics, TND)을 소개합니다. TND는 신경 시스템을 방향성 뉴런 그래프 (directed neuron graph), 상호작용 연산자 (interaction operator), 그리고 국소 역학 함수 (local dynamics function)로 표현하며, 여기서 각 뉴런은 독립적으로 진화하고 집합적 계산은 명시적인 그래프 위상 (graph topology)을 통한 상호작용으로부터 발생합니다. 우리는 TND를 이산 시간 그래프 결합 역학 시스템 (discrete-time graph-coupled dynamical system)으로 구현하였으며, 싱글 플레이어 퐁 (Pong) 게임의 행동 복제 (behavior cloning) 작업에 대한 사례 연구로 이를 평가했습니다. Vanilla RNN, Sparse RNN, LSTM, 폐형식 연속 시간 신경 네트워크 (Closed-form continuous-time neural network, CfC), 그리고 Transformer 베이스라인과 비교했을 때, TND는 가장 높은 캐치율과 라운드당 평균 17.47회의 연속 캐치를 달성하였으며, 이는 가장 강력한 베이스라인보다 3배 이상 높은 수치입니다. 이러한 결과는 레이어 단위 역학에서 뉴런 단위 역학으로의 전환이 시퀀스 모델링을 위한 효과적인 귀납적 편향 (inductive bias)을 제공함을 시사합니다.