Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
ERAlign은 텍스트 속성 그래프(TAGs)에서 GNN과 LLM의 표현을 정렬하기 위한 에너지 기반 프레임워크입니다. 에너지 불일치(ED)를 도입하여 샘플링 비용을 줄이고 분포 일관성을 달성함으로써, 다양한 태스크에서 최첨단 성능을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기텍스트 속성 그래프 (Text-attributed Graphs, TAGs)는 풍부한 관계적 의미론을 설명하기 위해 그래프 구조에 텍스트 노드 속성을 통합합니다. 최근 그래프 신경망 (Graph Neural Networks, GNNs)과 거대 언어 모델 (Large Language Models, LLMs)을 통합하려는 시도들은 TAGs 학습에 있어 유망한 결과를 보여주었으나, 잘 정렬된 표현 (representations)을 달성하는 것은 여전히 어려운 과제로 남아 있습니다. 이전 연구들은 주로 조립된 (coarse-grained) 매칭을 수행하는 휴리스틱 (heuristics)에 크게 의존합니다. 이러한 방식은 충분한 제약 조건이 부족하고 분포 정렬 (distributional alignment)을 무시하여, 표현 드리프트 (representation drift)와 제한된 일반화 성능을 초래합니다. 에너지 기반 모델 (Energy-based Models, EBMs)을 기반으로, 우리는 GNN으로 인코딩된 그래프 구조와 LLM에서 유도된 텍스트 임베딩 (embeddings)을 공유 잠재 공간 (shared latent space)에 투영하여 분포 일관성을 달성하는 에너지 기반 표현 정렬 (Energy-based Representation Alignment, ERAlign) 프레임워크를 제안합니다. 구체적으로, 계층별 정렬 (layer-wise alignment)은 거리 메트릭 (distance metric)에 의해 정량화되며 EBM 목적 함수를 통해 최적화됩니다. 에너지 값을 감소시킴으로써, 우리의 프레임워크는 다운스트림 태스크 (downstream tasks)를 위한 잘 정렬된 표현을 생성합니다. 학습 과정에서 우리는 다루기 힘든 정규화 (intractable normalization)와 관련된 높은 샘플링 비용을 피하기 위해 에너지 불일치 (Energy Discrepancy, ED)를 도입합니다. ED는 또한 더 높은 학습 효율성과 감소된 에너지 경관 왜곡 (energy landscape distortion)에 대한 이론적 보장을 제공합니다. 8개의 TAG 데이터셋에 대한 실증적 평가를 통해, ERAlign이 다양한 수준의 지도 학습 및 교차 태스크 전이 (cross-task transfer) 시나리오에서 최첨단 (state-of-the-art) 성능을 확보함을 입증합니다.