BLINKG: LLM 통합 지식 그래프 생성을 위한 벤치마크

지식 그래프 (Knowledge Graphs, KGs)를 생성하는 것은 지식 엔지니어들에게 여전히 가장 많은 시간과 노동력이 소요되는 작업 중 하나입니다. 이는 입력 데이터 소스와 온톨로지 (Ontology) 용어 사이의 의미적 동등성을 식별해야 하기 때문입니다. 선언적 솔루션 (예: RML, SPARQL-Anything)이 이 과정을 일반화하는 데 도움을 주었지만, 입력 스키마 (Schema) 요소를 온톨로지 용어와 정렬하는 작업은 여전히 복잡한 변환을 수반하며 상당한 수동 노력을 필요로 합니다. 거대 언어 모델 (Large Language Models, LLMs)의 등장과 함께, 지식 그래프 엔지니어를 돕기 위해 이들의 능력을 활용하려는 관심이 높아지고 있습니다. 일부 연구에서 LLM을 사용하여 지식 그래프 구축을 자동화하는 방안을 탐구했지만, 데이터 스키마와 온톨로지 개념 사이의 대응 관계를 얼마나 효과적으로 설정하는지 평가하기 위한 표준화된 프레임워크는 아직 존재하지 않습니다. 따라서 본 논문에서는 이질적인 데이터 소스로부터 지식 그래프를 구축할 때 LLM의 매핑 능력을 평가하기 위해 설계된 벤치마크인 BLINKG를 제안합니다. 이 벤치마크는 실제 사용 사례를 기반으로 복잡도가 증가하는 일련의 시나리오를 포함합니다. 우리는 BLINK를 사용하여 여러 최첨단 (state-of-the-art) LLM에 대해 광범위한 실험적 평가를 수행하였으며, 이들이 이미 유망한 솔루션을 제공하고 있음을 관찰했습니다. 그러나 복잡한 시나리오에서는 성능이 여전히 제한적입니다. 이 벤치마크 덕분에 우리는 지식 그래프 구축을 위한 LLM의 현재 능력을 이미 평가할 수 있습니다. 또한, 우리는 (반)자동화된 (LLM 기반) 지식 그래프 구축을 달성하기 위한 요구 사항 세트를 정의하여 이 분야의 새로운 연구 방향을 제시합니다.