Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
지식 그래프(KG) 데이터 통합 파이프라인의 품질을 평가하기 위한 새로운 벤치마크인 KGI-Bench를 제안합니다. 커버리지, 정확성, 일관성이라는 세 가지 지표를 통해 업데이트된 KG를 분석하며, 영화 도메인 데이터셋을 통해 다양한 파이프라인의 성능을 검증합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기새로운 데이터를 지식 그래프 (Knowledge Graphs, KG)에 통합하는 과정은 일반적으로 워크플로 (Workflows) 또는 파이프라인 (Pipelines) 내에서 실행되는 다양한 작업들을 포함합니다. 특정 통합 문제에 대해 가능한 파이프라인은 매우 많지만, 최선의 선택을 결정할 수 있도록 이러한 파이프라인의 전반적인 품질과 성능을 평가하는 일반적인 접근 방식은 아직 존재하지 않습니다. 따라서 본 연구에서는 기존 KG에 다양한 종류의 입력 데이터를 주입하는 통합 파이프라인을 평가하기 위한 새로운 벤치마크인 KGI-Bench를 제안합니다. 우리는 커버리지 (Coverage), 정확성 (Correctness), 일관성 (Consistency)이라는 세 가지 상호 보완적인 품질 지표를 통해 출력값, 즉 업데이트된 KG를 분석함으로써 파이프라인을 평가합니다. 또한 영화 도메인에 대한 벤치마크 데이터셋 (시드 KG, 세 가지 형식의 중첩된 입력 데이터, 정답 역할을 하는 참조 KG)을 제공합니다. 제안된 벤치마크의 적용 가능성과 유용성을 입증하기 위해, 우리는 12개의 파이프라인을 비교 평가하고 다양한 입력 데이터 형식 및 설계 선택에 따른 이들의 동작을 분석합니다.