지식 그래프 링크 예측을 위한 Seq2Seq 모델 내 그래프 구조 활용
요약
지식 그래프의 링크 예측 성능을 높이기 위해 T5-small 모델과 관계형 그래프 어텐션 네트워크(RGAT)를 결합한 GA-S2S 프레임워크를 제안합니다. 이 모델은 기존 Seq2Seq 모델이 놓치기 쉬운 그래프의 구조적 토폴로지와 텍스트 특징을 동시에 인코딩하여 멀티홉 관계 패턴을 효과적으로 포착합니다. CoDEx 데이터셋 실험 결과, 기존 베이스라인 대비 링크 예측 정확도에서 최대 19%의 성능 향상을 기록했습니다.
핵심 포인트
- T5-small 인코더-디코더와 RGAT를 통합한 GA-S2S 프레임워크 제안
- 텍스트 특징과 k-hop 서브그래프 토폴로지를 공동 인코딩하여 구조적 정보 보존
- 관계 인지 임베딩을 통해 풍부한 멀티홉 관계 패턴 및 텍스트 정보 활용
- CoDEx 데이터셋 기준 기존 Seq2Seq 모델 대비 최대 19%의 성능 향상 달성
우리는 지식 그래프 (Knowledge Graph) 내의 링크 예측 (Link Prediction) 성능을 향상시키기 위해 T5-small 인코더-디코더 (Encoder-Decoder)를 관계형 그래프 어텐션 네트워크 (Relational Graph Attention Network, RGAT)와 통합한 새로운 프레임워크인 Graph-Augmented Sequence-to-Sequence (GA-S2S)를 소개합니다. 기존의 Seq2Seq 모델들은 엔티티 (Entity)와 관계 (Relation)의 표면적인 텍스트 설명에만 의존하거나, 기껏해야 쿼리 엔티티 (Query Entity)의 이웃들을 하나의 선형 시퀀스 (Linear Sequence)로 평탄화하여 고유한 그래프 구조를 버리는 반면, GA-S2S는 텍스트 특징 (Textual Features)과 쿼리 엔티티를 둘러싼 전체 $k$-hop 서브그래프 토폴로지 (Subgraph Topology)를 공동으로 인코딩합니다. 가공되지 않은 인코더 출력값과 RGAT의 관계 인지 임베딩 (Relation-aware Embeddings)을 통합함으로써, 우리 모델은 더 풍부한 멀티홉 (Multi-hop) 관계 패턴과 텍스트 정보를 포착하고 활용합니다. CoDEx 데이터셋에 대한 예비 실험 결과, GA-S2S는 경쟁력 있는 Seq2Seq 기반 베이스라인 모델들보다 성능이 뛰어남을 입증하였으며, 링크 예측 정확도에서 최대 19%의 상대적 이득을 달성했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기