Signed Dual Attention: 시계열 예측에서 부호가 있는 의존성 포착하기

초기에 자연어 처리 (NLP)를 위해 개발된 Transformer 아키텍처와 어텐션 메커니즘 (attention mechanisms)은 이제 시계열 예측 (time series forecasting) 응용 분야를 포함하여 광범위한 딥러닝 모델의 핵심이 되었습니다. 그러나 표준 어텐션 메커니즘은 암묵적으로 동종 선호적 (homophilic) 상호작용을 가정하므로, 시계열과 같이 양(+)과 음(-)의 의존성을 가진 데이터를 모델링하는 능력이 제한됩니다. 본 연구에서는 추가적인 파라미터 없이 양의 관계 패턴과 음의 관계 패턴을 모두 포착하는 새로운 어텐션 공식인 Signed Dual Attention을 소개합니다. 상관관계 구조 (correlation structures)에서 영감을 얻은 이중 메시지 전달 (dual message-passing) 체계를 활용함으로써, Signed Dual Attention은 단일 공유 블록 내에서 지지적 (supportive) 정보와 대조적 (contrastive) 정보를 모두 전파하며, 추가 파라미터 없이도 두 개의 헤드 어텐션 (two head attention)과 같은 표현력을 효과적으로 달성합니다. 이 모듈은 기존 아키텍처에 원활하게 통합될 수 있으며, 부호가 있는 관계 모델링 (signed relational modeling)이 필요한 특정 상황에서 성능 향상을 가져올 수 있습니다. 이러한 접근 방식은 더욱 표현력이 뛰어나고 파라미터 효율적인 Transformer를 향한 경로를 열어줍니다.