그래프 세트 트랜스포머 (Graph Set Transformer)

우리는 그래프 세트 (sets of graphs) 상에서 학습하기 위한 신경망 아키텍처인 Graph Set Transformer (GST)를 소개합니다. 이는 개별 요소의 예측이 국소적 구조 (local structure)뿐만 아니라 세트 전체의 문맥 (set-wide context)에 의존하는 작업들을 위해 설계되었습니다. DeepSets 및 SetTransformer를 포함한 기존 아키텍처들은 별도의 GNN으로부터 사전 인코딩된 그래프 임베딩 (graph embeddings)을 필요로 하며, 이는 특징 추출 (feature extraction)과 세트 수준의 문맥화 (set-level contextualisation) 사이에 병목 현상을 발생시킵니다. 이와 대조적으로, GST는 매 레이어마다 노드 수준의 특징 전파 (node-level feature propagation)와 그래프 간 문맥 모델링 (cross-graph contextual modelling)을 교차하여 수행하며, 게이팅 메커니즘 (gating mechanism)을 통해 이 두 수준의 정보를 융합합니다. 우리는 세트 조건부 구조적 추론 (set-conditional structural reasoning)을 분리하도록 설계된 통제된 합성 데이터 세트 (synthetic suite)와 원자별 반응 중심 식별 (per-atom reaction-centre identification), 반응 수율 예측 (reaction yield prediction), 이미지 분류 (image classification)를 아우르는 세 가지 실제 데이터 벤치마크에서 GST를 평가합니다. 동일한 파라미터 예산 (parameter budgets) 하에서, GST는 이러한 설정 전반에 걸쳐 베이스라인 (baselines)보다 더 나은 성능을 보입니다. 아키텍처 절제 연구 (architectural ablation) 결과는 국소적 문맥과 세트 문맥의 교차 수행이 이러한 이점에 크게 기여함을 강력하게 시사합니다.