Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Graph-RAG의 신뢰성을 확보하기 위해 추출, 구축, 추론 단계를 단계별로 계측하는 TRIAGE 프레임워크를 소개합니다. 이 프레임워크는 지식 그래프의 구현, 검증, 사용 단계를 독립적인 지표로 평가하여 실패 지점을 정확히 찾아냅니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기Graph-based Retrieval-Augmented Generation (Graph-RAG)의 기반이 되는 지식 그래프 (Knowledge graphs, KGs)는 전문가에 의해 큐레이션되기보다 LLM (Large Language Model) 주도 추출을 통해 점점 더 자동적으로 구축되고 있습니다. 적절한 평가를 위해서는 추출 (extraction), 그래프 구축 (graph construction), 그리고 추론 (inference)의 모든 관련 단계를 실패 지점을 국소화할 수 있을 만큼 충분히 일관되게 계측 (instrumenting)해야 하며, 이를 통해 한 단계에서의 실패가 마지막 단계에서 잘못된 정답으로 발견되지 않도록 해야 합니다. 우리는 자동화되고 문서에 근거한 (document-grounded) graph-RAG를 위한 단계 인식 계측 프레임워크인 TRIAGE를 소개합니다. 이는 기반이 되는 그래프를 신뢰할 수 있는지뿐만 아니라, 어떤 비용으로 쿼리할 수 있는지를 묻습니다. TRIAGE는 세 가지 단계에 단계별로 독립적으로 해석 가능한 지표를 부착합니다: KG 구현 (KG Implementation; 트리플 신뢰도 (triple confidence), 소스 커버리지 (source coverage), 그리고 스키마 및 정규화 (schema and canonicalization) 점검), 전문가에 의한 KG 검증 (KG Validation by expert; 그래프 수준의 구조적 품질, 참조가 가능한 경우에만 오프라인 보정 (offline calibration)으로서 정확성 (correctness)과 완전성 (completeness)을 계산), 그리고 KG 사용 (KG Usage; 검색 커버리지 (retrieval coverage), 충실도 (faithfulness), 그리고 검색 비용 (retrieval cost)). 배포된 지표들은 골드 어노테이션 (gold annotations)을 필요로 하지 않으며, 골드를 필요로 하는 지표들은 오프라인 보정 용도로만 사용됩니다. 사용 시점에 이러한 지표들은 필수 조건의 진단 체인 (diagnostic chain)을 형성하며, 이 체인의 첫 번째 끊어진 연결 고리가 실패 지점을 국소화하고, 해당 진단은 이를 해결할 수 있는 단계별 레버인 추출 (extraction), 그래프 및 스키마 (graph and schema), 또는 검색 (retrieval)으로 매핑됩니다. TRIAGE는 개념 증명 (proof of concept)과 재현 가능한 평가 프로토콜을 갖춘 이론적 프레임워크입니다.