Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
표준 어텐션 메커니즘의 한계를 극복하기 위해 양(+)과 음(-)의 의존성을 모두 포착하는 Signed Dual Attention을 제안합니다. 추가 파라미터 없이 이중 메시지 전달 체계를 통해 지지적 및 대조적 정보를 효과적으로 전파합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기초기에 자연어 처리 (NLP)를 위해 개발된 Transformer 아키텍처와 어텐션 메커니즘 (attention mechanisms)은 이제 시계열 예측 (time series forecasting) 응용 분야를 포함하여 광범위한 딥러닝 모델의 핵심이 되었습니다. 그러나 표준 어텐션 메커니즘은 암묵적으로 동종 선호적 (homophilic) 상호작용을 가정하므로, 시계열과 같이 양(+)과 음(-)의 의존성을 가진 데이터를 모델링하는 능력이 제한됩니다. 본 연구에서는 추가적인 파라미터 없이 양의 관계 패턴과 음의 관계 패턴을 모두 포착하는 새로운 어텐션 공식인 Signed Dual Attention을 소개합니다. 상관관계 구조 (correlation structures)에서 영감을 얻은 이중 메시지 전달 (dual message-passing) 체계를 활용함으로써, Signed Dual Attention은 단일 공유 블록 내에서 지지적 (supportive) 정보와 대조적 (contrastive) 정보를 모두 전파하며, 추가 파라미터 없이도 두 개의 헤드 어텐션 (two head attention)과 같은 표현력을 효과적으로 달성합니다. 이 모듈은 기존 아키텍처에 원활하게 통합될 수 있으며, 부호가 있는 관계 모델링 (signed relational modeling)이 필요한 특정 상황에서 성능 향상을 가져올 수 있습니다. 이러한 접근 방식은 더욱 표현력이 뛰어나고 파라미터 효율적인 Transformer를 향한 경로를 열어줍니다.