ERAlign: 텍스트 속성 그래프(TAGs)에서의 GNN과 LLM 간 에너지 기반 표현 정렬

텍스트 속성 그래프 (Text-attributed Graphs, TAGs)는 풍부한 관계적 의미론을 설명하기 위해 그래프 구조에 텍스트 노드 속성을 통합합니다. 최근 그래프 신경망 (Graph Neural Networks, GNNs)과 거대 언어 모델 (Large Language Models, LLMs)을 통합하려는 시도들은 TAGs 학습에 있어 유망한 결과를 보여주었으나, 잘 정렬된 표현 (representations)을 달성하는 것은 여전히 어려운 과제로 남아 있습니다. 이전 연구들은 주로 조립된 (coarse-grained) 매칭을 수행하는 휴리스틱 (heuristics)에 크게 의존합니다. 이러한 방식은 충분한 제약 조건이 부족하고 분포 정렬 (distributional alignment)을 무시하여, 표현 드리프트 (representation drift)와 제한된 일반화 성능을 초래합니다. 에너지 기반 모델 (Energy-based Models, EBMs)을 기반으로, 우리는 GNN으로 인코딩된 그래프 구조와 LLM에서 유도된 텍스트 임베딩 (embeddings)을 공유 잠재 공간 (shared latent space)에 투영하여 분포 일관성을 달성하는 에너지 기반 표현 정렬 (Energy-based Representation Alignment, ERAlign) 프레임워크를 제안합니다. 구체적으로, 계층별 정렬 (layer-wise alignment)은 거리 메트릭 (distance metric)에 의해 정량화되며 EBM 목적 함수를 통해 최적화됩니다. 에너지 값을 감소시킴으로써, 우리의 프레임워크는 다운스트림 태스크 (downstream tasks)를 위한 잘 정렬된 표현을 생성합니다. 학습 과정에서 우리는 다루기 힘든 정규화 (intractable normalization)와 관련된 높은 샘플링 비용을 피하기 위해 에너지 불일치 (Energy Discrepancy, ED)를 도입합니다. ED는 또한 더 높은 학습 효율성과 감소된 에너지 경관 왜곡 (energy landscape distortion)에 대한 이론적 보장을 제공합니다. 8개의 TAG 데이터셋에 대한 실증적 평가를 통해, ERAlign이 다양한 수준의 지도 학습 및 교차 태스크 전이 (cross-task transfer) 시나리오에서 최첨단 (state-of-the-art) 성능을 확보함을 입증합니다.