TAG-DLM: 텍스트 속성 그래프 학습을 위한 확산 언어 모델 (Diffusion Language Models)

요약

텍스트 속성 그래프(TAG) 학습을 위해 텍스트 추론과 그래프 메시지 패싱을 통합한 마스크 확산 언어 모델(TAG-DLM)을 제안합니다. 이 모델은 토폴로지 어텐션 마스크를 통해 그래프 구조를 주입하며, 별도의 미세 조정 없이도 다양한 그래프 태스크를 수행할 수 있습니다.

핵심 포인트

• 텍스트와 그래프 토폴로지를 단일 확산 언어 모델 내에서 통합 처리
• 토폴로지 어텐션 마스크를 통한 그래프 구조 주입 및 선형화 구현
• 프롬프트 변경만으로 노드 분류, 링크 예측 등 다양한 태스크 적응 가능
• 기존 GNN, Graph Transformer 및 LLM 기반 모델 대비 성능 우위 입증