G2LoRA: 텍스트 속성 그래프(TAGs) 상의 그래프 지속 학습을 위한 그래디언트 직교 저차원 적응(Gradient Orthogonal

LLM-as-Aligner는 CLIP 스타일의 대조 학습(contrastive learning)을 통해 그래프와 텍스트 모달리티를 공유 임베딩 공간으로 정렬함으로써, 텍스트 속성 그래프(Text-Attributed Graphs, TAGs)를 위한 유행하는 사전 학습(pre-training) 패러다임으로 부상했습니다. 개별적인 다운스트림 태스크(downstream tasks)에서는 효과적이지만, 이러한 모델을 스트리밍 태스크(streaming tasks)에 대해 순차적으로 미세 조정(fine-tuning)할 때 심각한 파괴적 망각(catastrophic forgetting)이 발생하는 것을 관찰했습니다. 매개변수 효율적 미세 조정(parameter-efficient fine-tuning)이 망각을 어느 정도 완화하기는 하지만, 태스크 간섭(task interference)과 비효율적인 지식 전이(knowledge transfer)를 해결하기에는 여전히 불충분합니다. 본 연구에서는 태스크 간의 간섭을 완화하는 동시에 태스크 간의 긍정적 전이(positive transfer)를 촉진하는 것을 목표로, TAGs 상의 LLM-as-Aligner 모델을 위한 그래프 지속 학습(graph continual learning)을 연구합니다. 이 설정은 두 가지 근본적인 과제를 도입합니다: (1) 이질적인 다운스트림 태스크가 최적화 목표(optimization objectives)의 변화를 유도하여 통합된 미세 조정을 방해하며, (2) 그래프 및 텍스트 인코더(encoders)가 적응(adaptation)에 대해 서로 다른 민감도를 보여, 조정되지 않은 업데이트가 정렬 불량(misalignment)을 초래하기 쉽다는 점입니다. 이러한 과제를 해결하기 위해, 우리는 TAGs를 위한 지속 학습 프레임워크인 G2LoRA를 제안합니다. G2LoRA는 노드(node), 링크(link), 그래프 레벨(graph-level) 태스크를 단일 그래프-텍스트 정렬 목표 아래 통합하며, 도메인/클래스/태스크 증분 모드(incremental modes) 전반에 걸쳐 일관된 최적화를 가능하게 합니다. 태스크 간섭을 줄이면서 긍정적 전이를 장려하기 위해, G2LoRA는 구조화된 부분 공간(structured subspaces)에서 카테고리 인식 그래디언트 투영(category-aware gradient projection)을 수행하여 충돌하는 업데이트를 해결하고, 순방향 및 역방향 지식 흐름의 균형을 맞추기 위한 조건부 역방향 전이(conditional backward transfer)를 가능하게 합니다. 교차 모달 드리프트(cross-modal drift)를 추가로 방지하기 위해, G2LoRA는 그래프 및 텍스트 인코더 간의 업데이트 속도를 조정하는 그래디언트 크기 변조(gradient magnitude modulation)를 도입합니다. 벤치마크 데이터셋에 대한 광범위한 실험을 통해 G2LoRA가 다양한 백본(backbone) 아키텍처에서 강력한 베이스라인(baselines)을 지속적으로 능가하며, 우수한 지속 성능과 전이성(transferability)을 달성함을 입증합니다.