지식 그래프 (Knowledge Graphs) 데이터 통합을 위한 파이프라인 평가

새로운 데이터를 지식 그래프 (Knowledge Graphs, KG)에 통합하는 과정은 일반적으로 워크플로 (Workflows) 또는 파이프라인 (Pipelines) 내에서 실행되는 다양한 작업들을 포함합니다. 특정 통합 문제에 대해 가능한 파이프라인은 매우 많지만, 최선의 선택을 결정할 수 있도록 이러한 파이프라인의 전반적인 품질과 성능을 평가하는 일반적인 접근 방식은 아직 존재하지 않습니다. 따라서 본 연구에서는 기존 KG에 다양한 종류의 입력 데이터를 주입하는 통합 파이프라인을 평가하기 위한 새로운 벤치마크인 KGI-Bench를 제안합니다. 우리는 커버리지 (Coverage), 정확성 (Correctness), 일관성 (Consistency)이라는 세 가지 상호 보완적인 품질 지표를 통해 출력값, 즉 업데이트된 KG를 분석함으로써 파이프라인을 평가합니다. 또한 영화 도메인에 대한 벤치마크 데이터셋 (시드 KG, 세 가지 형식의 중첩된 입력 데이터, 정답 역할을 하는 참조 KG)을 제공합니다. 제안된 벤치마크의 적용 가능성과 유용성을 입증하기 위해, 우리는 12개의 파이프라인을 비교 평가하고 다양한 입력 데이터 형식 및 설계 선택에 따른 이들의 동작을 분석합니다.