GraspLLM: LLM을 활용한 텍스트 속성 그래프(TAGs)의 제로샷 일반화(Zero-Shot Generalization)를 향하여

텍스트 속성 그래프 (Text-Attributed Graphs, TAGs)에 대한 연구는 인용 네트워크, 이커머스 플랫폼, 소셜 미디어, 웹 페이지와 같은 다양한 실제 데이터 시나리오 전반에 걸친 폭넓은 응용 가능성 덕분에 최근 상당한 주목을 받고 있습니다. 거대 언어 모델 (Large Language Models, LLMs)의 놀라운 의미론적 이해 능력에 영감을 받아, LLMs를 TAGs에 통합하려는 수많은 시도가 있었습니다. 그러나 기존 방법들은 여전히 다양한 그래프와 태스크에 걸쳐 일반화하는 데 어려움을 겪고 있으며, 전이 가능한 그래프 구조 패턴을 포착하는 능력도 여전히 제한적입니다. 이를 해결하기 위해, 우리는 그래프 구조 이해 (Graph structural comprehension)와 LLMs의 의미론적 이해 역량을 결합하여 데이터셋 간 및 태스크 간 일반화 가능성을 향상시키는 프레임워크인 GraspLLM을 소개합니다. 구체적으로, 우리는 고정된(frozen) 범용 임베딩 모델을 사용하여 서로 다른 그래프의 노드 텍스트를 통일된 의미 공간 (semantic space)에 표현하며, 그 위에서 여러 모티프 유도 인접 행렬 (motif-induced adjacency matrices)에 대해 모티프 인식 대조 학습 (motif-aware contrastive learning)을 수행하여 데이터셋에 무관한 구조적 정보를 추출합니다. 그런 다음, 우리가 제안하는 최적의 문맥적 서브그래프 (optimal contextual subgraph)를 통해 각 타겟 노드에 대해 가장 문맥적으로 관련 있는 서브그래프를 추출하고, 정렬 프로젝터 (alignment projector)를 통해 이러한 서브그래프들을 LLM의 토큰 공간 (token space)에 정렬합니다. 다양한 도메인에 걸친 TAG 벤치마크 데이터셋에 대한 광범위한 실험 결과, GraspLLM은 특히 제로샷 (zero-shot) 시나리오에서 기존의 LLM 기반 TAGs 방법들을 지속적으로 능가하며, 서로 다른 데이터셋과 태스크에 대한 강력한 일반화 능력을 입증했습니다. 우리의 코드는 https://github.com/Heinz217/GraspLLM 에서 확인할 수 있습니다.