Liquid Neural Network 학습 가속화를 위한 다중 속도 전문가 혼합 (Multi-Rate Mixture of Experts) 방식

다변량 시계열 데이터(Multivariate time-series data)는 종종 복잡한 시간적 의존성, 불규칙한 샘플링, 그리고 여러 시간 척도(time scales)에 걸친 이질적인 역학(heterogeneous dynamics)을 나타내며, 이로 인해 정확한 시퀀스 모델링(sequence modeling)이 특히 어렵습니다. Long Short-Term Memory (LSTM) 네트워크와 같은 전통적인 순환 신경망 (RNNs)은 이산 시간(discrete time)에서 작동하며, 연속적이고 불규칙한 시간적 행동을 효과적으로 포착하는 데 어려움을 겪을 수 있습니다. Liquid Neural Networks (LNNs)는 연속 시간 역학(continuous-time dynamics)을 통해 이러한 제한 사항 중 일부를 해결하지만, 표준 LNN 아키텍처는 일반적으로 단일 역학 시스템에 의존하므로 이질적인 시간 패턴을 모델링하는 능력이 제한됩니다. 이러한 과제를 해결하기 위해, 우리는 Liquid Neural Networks를 기반으로 구축된 Multi-Rate Mixture-of-Experts (MR-MoE) 프레임워크를 제안합니다. 제안된 아키텍처에서는 여러 LNN 기반 전문가(experts)가 서로 다른 시간 척도에서 작동하여, 모델이 빠르게 변화하는 역학을 느리게 진화하는 시간적 추세로부터 명시적으로 분리할 수 있도록 합니다. 게이팅 네트워크(gating network)는 입력 조건에 따라 적응형 전문가 특화(adaptive expert specialization)를 더욱 가능하게 합니다. 또한, 강건성(robustness), 해석 가능성(interpretability), 그리고 장기 의존성(long-range dependency) 모델링을 개선하기 위해 특징 수준(feature-level) 및 시간적 어텐션(temporal attention) 메커니즘을 모두 통합합니다. 특징 수준 어텐션은 노이즈가 심하거나 무관한 변수를 억제하며, 시간적 어텐션은 정보가 풍부한 과거 상태에 선택적으로 집중합니다. 우리는 복잡한 다변량 시계열 예측 작업에서 제안된 프레임워크를 평가하고, LSTM, 단일 구조 LNN(monolithic LNN), 그리고 표준 MoE 모델을 포함한 강력한 베이스라인(baselines)과 비교합니다. 실험 결과, 제안된 MR-MoE 프레임워크는 양호한 계산 효율성을 유지하면서도 AUROC 및 AUPRC 성능에서 일관되게 향상된 결과를 달성함을 보여줍니다. 이러한 결과는 시계열 모델링을 위해 연속 시간 역학, 다중 척도 전문가 분해(multi-scale expert decomposition), 그리고 적응형 어텐션 메커니즘을 결합하는 것의 효과를 강조합니다.