그래프 인지 LoRA 생성을 통한 그래프 작업을 위한 LLM 강화

그래프 신경망 (GNNs)은 입력-출력 파라미터를 데이터셋 특유의 특징 공간 (feature spaces) 및 타겟 세트와 밀접하게 결합하여, 서로 다른 데이터셋 간의 전이 가능성 (transferability)이 제한적입니다. 이와 대조적으로, 언어 모델 (LMs)은 통일된 입력-출력 인터페이스를 통해 유연하게 일반화하며, 이는 최근 언어 모델을 그래프 작업에 적응시키려는 시도들을 촉발했습니다. 그러나 기존 방법들은 전체 그래프 정보를 인코딩하는 데 어려움을 겪고 있으며, 이는 잠재적인 정보 손실과 최적화되지 않은 그래프 이해로 이어집니다. 본 연구에서는 언어 모델을 그래프 작업에 적응시키기 위한 새로운 가중치 수준의 정보 주입 패러다임을 제안합니다. 이 패러다임은 은닉 표현 (hidden representations)과 직접 상호작용하는 작업 특화 가중치 업데이트를 생성함으로써 전체 그래프 정보를 주입합니다. 저차원 적응 (LoRA)을 따라 이 패러다임을 구체화하여, 우리는 그래프 인지 LoRA 생성 모델인 GaRA를 소개합니다. GaRA는 원래의 그래프 구조를 조건으로 저차원 가중치 업데이트를 구축하고 생성된 업데이트의 노름 (norm)을 제한함으로써, 전체 그래프 정보를 주입하고 가중치 생성 시의 최적화 편향 (optimization bias)을 방지합니다. 실증적 연구 결과, GaRA는 제로샷 (zero-shot) 그래프 학습 작업에서 베이스라인 모델들을 일관되게 능가함을 보여줍니다.