비선형성보다 구조: 동적 학습을 위한 명시적 상호작용 아키텍처

동적 시스템 (Dynamical systems)을 위한 대부분의 학습 아키텍처는 일반적인 비선형 함수 근사 (Nonlinear function approximation)에 의존하며, 이는 구조화된 동작을 포착하기 위해 종종 높은 모델 복잡도를 요구합니다. 본 연구에서는 모델링 능력이 표현력이 풍부한 비선형성 (Nonlinearities)보다는 주로 구조 (Structure)로부터 발생하는 대안적인 패러다임을 제안합니다. 우리는 내부 상태 (Internal state)를 가진 파동 기반 상호작용 구조 (Wave-inspired interaction structures)에 기초한 일련의 명시적 구조화된 동적 유닛 (Explicit structured dynamical units)을 소개합니다. 파동 기반 계산 원리에 영감을 받아, 제안된 유닛은 대수 루프 (Algebraic loops)를 제거하는 엄격한 인과적 조직 (Strictly causal organization)을 채택하여, 암시적 솔버 (Implicit solvers) 없이도 평가할 수 있는 완전한 명시적 모델 (Fully explicit models)을 생성합니다. 이러한 유닛을 쌓으면 창발적인 계층적 동작 (Emergent hierarchical behavior)을 갖는 계층적 동적 아키텍처 (Layered dynamical architectures)가 생성됩니다. 비선형 시스템 식별 (Nonlinear system identification) 작업에 대한 실험을 통해, 우리는 제한된 파라미터 최적화 (Parameter optimization) 환경에서도 깊이 (Depth)가 표현 품질 (Representation quality)과 일반화 (Generalization) 능력을 모두 향상시킨다는 것을 보여줍니다. 특히, 제안된 아키텍처는 판독 전용 피팅 (Readout-only fitting) 상황에서도 정보가 풍부한 내부 표현 (Internal representations)을 생성하며, 이는 상당한 파라미터 최적화 이전에 상호작용의 조직으로부터 유용한 동적 구조가 창발함을 나타냅니다. 이러한 결과는 구조 우선 설계 (Structure-first design)가 동적 시스템 학습을 위한 기존의 블랙박스 (Black-box) 접근 방식에 대한 실행 가능하고 효과적인 대안을 제공함을 시사하며, 모델 표현력 (Model expressivity)의 주요 원천으로서 상호작용 구조 (Interaction structure)의 역할을 강조합니다.