학습 가능한 그래프 패치(Learnable Graph Patches)를 통한 특징 이질성(Feature Heterogeneity) 처리

최근 몇 년 동안 파운데이션 모델(Foundation Models)과 그래프 사전 학습(Graph Pre-training) 기술의 급격한 발전은 범용 사전 학습 그래프 모델 또는 그래프 파운데이션 모델(Graph Foundation Model, GFM) 구축에 대한 관심을 고조시켰습니다. 그러나 중요한 과제는 기존 모델들이 텍스트 정보가 없는 그래프 데이터의 특징 이질성(Feature Heterogeneity)을 해결하지 못한다는 점이며, 이는 서로 다른 데이터셋 간의 그래프 모델 전이 가능성(Transferability)을 저해합니다. 이러한 격차를 해소하기 위해, 우리는 모든 그래프 데이터의 가장 작은 의미론적 단위(Semantic Units)로 간주되는 학습 가능한 그래프 패치(Learnable Graph Patches)의 개념을 제안합니다. 우리는 노드 특징(Node Features)을 펼치고(Unfolding) 그에 상응하는 패치 구조를 별도로 구축함으로써 그래프를 학습 가능한 그래프 패치로 분해합니다. 그런 다음 도메인을 가로질러 그래프 데이터로부터 전이 가능한 정보를 추출하는 프레임워크를 설계합니다. 구체적으로, 그래프 패치를 추출한 후, 각 단위로부터 지식을 추출하는 패치 인코더(Patch Encoder)와 단위들이 어떻게 전체로 결합되는지를 학습하는 패치 어그리게이터(Patch Aggregator)를 제안합니다. 도메인 불가지론적(Domain-agnostic) 특성 덕분에, 이 모델은 서로 다른 도메인의 다운스트림(Downstream) 데이터에 적용될 수 있습니다. 나아가, 우리는 우리의 방법과 기존 그래프 모델 간의 연결성, 그리고 생성된 노드 임베딩(Node Embeddings)의 전이 가능성을 분석합니다. 실증적으로, 우리의 방법은 멀티 도메인 그래프를 사전 학습에 사용하는 능력을 달성할 뿐만 아니라, 다양한 다운스트림 데이터셋과 태스크 전반에서 향상된 성능을 보여줍니다. 또한, 사전 학습 데이터의 양이 증가함에 따라 다운스트림 성능이 일관되게 향상되는 것을 관찰했습니다.