GraphInfer-Bench: 그래프 상에서의 LLM 추론 능력 벤치마킹

그래프 분석은 단일 레코드에서 찾아보거나 경로를 따라 검색할 수 없는 답변을 요구하는 많은 애플리케이션의 기초가 됩니다. 자금 세탁 네트워크, 약물 재창출 (drug repurposing), 사용자 선호도, 과학적 주제 등은 모두 노드와 그 이웃을 함께 통해 추론됩니다. 우리는 LLM이 이러한 그래프 추론(graph inference), 즉 단일 노드가 지원하지 않고 경로를 통해서도 검색할 수 없는 개방형 답변을 생성할 수 있는지 측정하기 위한 벤치마크인 GraphInfer-Bench를 소개합니다. 기존의 그래프 질의응답 (Graph-QA) 프로토콜은 이 능력을 테스트할 수 없습니다. 알고리즘 시뮬레이션, 노드 분류 (node classification), 단일 노드 설명, 지식 그래프 질의응답 (KG-QA), 그리고 GraphRAG는 모두 하나의 노드나 경로를 통해 검색 가능한 답변을 허용하기 때문입니다. GraphInfer-Bench는 설명 (Description, 특정 영역이 무엇인지)과 비교 (Comparison, 영역들이 어떻게 다른지)를 따라 다섯 가지 태스크를 정의하며, 각 태스크의 정답(ground truth)은 단일 노드에 존재하지 않도록 구성되었습니다. 공개된 데이터셋은 6개의 실제 세계 그래프에 걸쳐 42,000개의 샘플을 포함하며, 자동으로 생성된 후 4단계 품질 관리 프로토콜을 통해 검증되었습니다. 우리는 동일한 태스크에 대해 네 가지 방법론 군을 평가했습니다: 그래프-토큰 정렬 (graph-token alignment) 모델, 제로샷 (zero-shot) 최첨단 폐쇄형 LLM, Graph2Text 지도 미세 조정 (supervised fine-tuning, SFT), 그리고 구조적 참조로서의 일반적인 GNN입니다. 어떤 방법론 군도 격차를 좁히지 못했습니다. 그래프-토큰 정렬은 설명 태스크(관계적, 주제적)를 부분적으로 처리하지만 비교 태스크에서는 무너집니다. 최첨단 LLM은 LLM 기반 방법론 중 이상치 탐지 (outlier detection)와 커뮤니티 분할 (community partition)에서 앞서지만, 마스크 노드 예측 (masked-node prediction)에서는 뒤처집니다. Graph2Text SFT는 설명 측면에서 가장 강력한 LLM 기반 방법론이지만, 비교 측면에서는 최첨단 LLM에 뒤처집니다. 모든 태스크에 걸쳐, 일반적인 GNN은 가장 강력한 LLM 기반 모델과 대등하거나 이를 능가하며, 커뮤니티 탐지 (community detection)에서 가장 큰 격차를 보였습니다. GraphInfer-Bench는 그래프 추론이 특정 아키텍처의 속성이 아니라, 해결해야 할 개방된 능력 격차임을 드러냅니다.