동적 그래프 Transformer의 어텐션 분산 문제 진단 및 전이 가능한 해결책

요약

본 연구는 연속 시간 동적 그래프(CTDG) 학습 시 시간적 분포 변화로 인해 발생하는 어텐션 분산(attention dispersion) 문제를 진단하고 이를 해결하는 방법을 제시합니다. 기존 Transformer가 핵심 노드에 집중하지 못하는 문제를 차분 어텐션(differential attention) 도입을 통해 해결하여, 공통 모드 신호는 억제하고 독특한 토큰 신호를 증폭함으로써 성능을 개선했습니다. 이를 적용한 DiffDyG 모델은 다양한 벤치마크에서 SOTA 성능을 달성하며 특히 변화가 큰 데이터셋에서 탁월한 효과를 입증했습니다.

핵심 포인트

• 시간적 분포 변화 상황에서 동적 그래프 Transformer가 겪는 '어텐션 분산' 실패 모드 식별
• 표준 어텐션을 차분 어텐션(differential attention)으로 교체하여 핵심 노드에 대한 집중도 향상
• 차분 어텐션은 어텐션 엔트로피를 감소시키고 핵심 노드에 대한 어텐션 질량을 증가시킴
• 제안된 DiffDyG 모델은 9개의 벤치마크에서 SOTA 성능을 기록하며 높은 전이 가능성을 증명