Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
시계열 데이터 내 드문 극한 이벤트를 효과적으로 예측하기 위한 Extreme-Adaptive Transformer(Exformer)를 제안합니다. Local, Stride, Extreme의 세 가지 희소 어텐션 메커니즘을 통해 정상 패턴과 극한 패턴을 동시에 모델링합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기기저 데이터에 드물지만 중요한 극한 이벤트(extreme events)가 포함되어 있는 경우, 시계열 예측(Time series forecasting)은 여전히 어려운 과제로 남아 있습니다. 이 문제는 하천 유량 분포가 종종 매우 왜곡되어 있고, 극한의 피크(extreme peaks)가 홍수 모니터링, 수자원 관리 및 조기 경보 시스템에 상당한 영향을 미칠 수 있는 수문 예측(hydrologic forecasting) 분야에서 특히 중요합니다. Transformer 기반 예측 모델들은 장기적인 시간적 의존성(long-range temporal dependencies)을 모델링함으로써 강력한 성능을 달성해 왔지만, 일반적으로 모든 시점을 균일하게 취급하기 때문에 드문 극한 패턴을 충분히 나타내지 못할 수 있습니다. 본 논문에서는 정상 이벤트와 극한 이벤트를 모두 포함하는 시간적 의존성을 명시적으로 모델링하도록 설계된 예측 프레임워크인 Extreme-Adaptive Transformer (Exformer)를 제안합니다. Exformer는 Local, Stride, Extreme의 세 가지 희소(sparse) 구성 요소로 이루어진 극한 적응형 어텐션(extreme-adaptive attention) 메커니즘을 도입합니다. Local 및 Stride 구성 요소는 각각 단기 및 주기적 시간 의존성을 포착하며, Extreme 구성 요소는 정상 유량 패턴과 극한 유량 패턴 사이의 이벤트 인지적 의존성(event-aware dependencies)을 선택적으로 모델링합니다. 네 가지 실제 수문 유량 데이터셋에 대한 실험 결과, Exformer는 최신 베이스라인(state-of-the-art baselines) 모델들과 비교하여 우수한 3일 예측 성능을 달성함을 보여주었습니다. 우리의 연구 결과는 극한 인지 어텐션(extreme-aware attention)을 명시적으로 통합하는 것이 드물지만 중대한 영향을 미치는 이벤트가 포함된 불균형 시계열 데이터에서 Transformer 모델의 예측 능력을 향상시킨다는 것을 입증합니다.