메시지 전달 (Message-Passing)에서 선형화된 그래프 시퀀스 모델 (Linearized Graph Sequence Models)으로

메시지 전달 (Message-passing) 기반 접근 방식은 그래프 구조 데이터 (graph-structured data) 상의 대부분의 학습 아키텍처에서 기본 중추 (backbone)를 형성합니다. 그러나 다른 도메인, 특히 시퀀스 모델링 (sequence modeling) 분야에서 현대 딥러닝 (deep learning) 아키텍처가 보여준 급격한 발전은 그래프 학습이 이러한 진보로부터 어떻게 이득을 얻을 수 있는지에 대한 의문을 제기합니다. 우리는 아키텍처 선택을 단순화하기 위해 메시지 전달 그래프 계산을 시퀀스 모델링의 관점에서 재구성하는 프레임워크인 선형화된 그래프 시퀀스 모델 (Linearized Graph Sequence Models)을 소개합니다. 우리의 접근 방식은 계산 처리 깊이 (computational processing depth)를 정보 전파 깊이 (information propagation depth)로부터 체계적으로 분리하여, 핵심적인 그래프 아키텍처 결정을 시퀀스 모델링 선택 사항으로 다룰 수 있게 합니다. 구체적으로, 우리는 어떤 시퀀스 속성이 그래프 귀납적 편향 (graph inductive bias)을 학습하고 보존하는 데 방법론을 효과적으로 만드는지 경험적 및 이론적으로 분석합니다. 특히, 우리는 그래프 내 장거리 정보 (long-range information) 작업에서 향상된 성능을 입증함으로써 우리의 발견을 검증합니다. 우리의 연구 결과는 현대 시퀀스 모델링의 발전을 메시지 전달 기반 그래프 학습에 통합하는 원칙적인 방법을 제공합니다. 이를 넘어, 우리의 연구는 처리 깊이와 정보 깊이의 분리가 어떻게 핵심적인 아키텍처 문제를 입력 모델링 (input modeling) 선택 사항으로 재구성할 수 있는지를 보여줍니다.