ITS-Mina: 다변수 시계열 예측을 위한 반복적 정제와 외부 주의력을 갖춘 하리스 매미 최적화 기반 전 MLP 프레임워크

다변수 시계열 예측은 금융 분석, 에너지 관리, 교통 계획 등 다양한 실생활 응용 분야에서 핵심적인 역할을 수행합니다. Transformer 기반 아키텍처가 이 작업에 널리 사용되어 왔지만, 최근 연구들은 더 단순한 MLP 기반 모델이 계산 비용을 크게 줄이면서도 경쟁력 있거나 우수한 성능을 달성할 수 있음을 보여주고 있습니다. 본 논문에서는 다변수 시계열 예측을 위한 새로운 전 MLP(all-MLP) 프레임워크인 ITS-Mina 를 제안합니다. 이 프레임워크는 세 가지 핵심 혁신을 통합하고 있습니다: (1) 공유 매개변수를 갖는 잔차 믹서(residual mixer) 스택을 반복적으로 적용하여 시간적 표현(temporal representations) 을 점진적으로 향상시키는 반복적 정제(iterative refinement) 메커니즘으로, 모델의 계산 용량을 증가시키면서도 고유한 매개변수의 수를 곱하지 않고 모델을 심화시킵니다; (2) 학습 가능한 메모리 단위(learnable memory units) 로 기존 자기 주의(self-attention) 를 대체하여 선형 계산 복잡성(linear computational complexity) 으로 샘플 간 전역 의존성(cross-sample global dependencies) 을 포착하는 외부 주의력(external attention) 모듈; 그리고 (3) 각 데이터셋에 맞춘 적응형 정규화를 가능하게 하는 자동 드롭아웃 비율 튜닝(dropout rate tuning) 을 위한 하리스 매미 최적화(Harris Hawks Optimization, HHO) 알고리즘입니다. 여섯 가지 널리 사용되는 벤치마크 데이터셋에서 수행한 광범위한 실험 결과, ITS-Mina 는 여러 예측 지평선(forecasting horizons) 에서 열надцать 개(baseline models) 베이스라인 모델에 비해 최첨단(state-of-the-art) 또는 매우 경쟁력 있는 성능을 달성함을 보여줍니다.