RAG에서 그래프를 사용해야 하는 경우: 그래프 검색 증강 생성(GraphRAG)을 위한 포괄적인 벤치마크 및 분석

[2026-05-17] 메모리 향상 RAG를 위한 우리의 MemGraphRAG가 KDD'26에 채택되었습니다.[2026-04-07] RAG 충실도(faithfulness)를 위한 우리의 ProbeRAG가 ACL'26에 채택되었습니다.[2026-04-07] 신뢰할 수 있는 에이전트 검색을 위한 우리의 BAPO가 ACL'26에 채택되었습니다.[2026-04-07] 신뢰할 수 있는 법률 추론을 위한 우리의 LegalGraphRAG가 ACL'26에 채택되었습니다.[2026-04-07] GraphRAG 공격 모델인 우리의 LogicPoison이 ACL'26에 채택되었습니다.[2026-01-26] 효율적인 GraphRAG를 위한 우리의 LinearRAG가 ICLR’26에 채택되었습니다.[2026-01-26] 우리의 GraphRAG Benchmark가 ICLR’26에 채택되었습니다.[2025-10-27] 우리는 효율적인 GraphRAG를 위한 관계 비의존적(relation-free) 방법인 LinearRAG를 공개합니다.[2025-08-24] 우리는 GraphRAG 모델 전반에 걸쳐 유연한 벤치마킹을 지원하는 DIGIMON을 지원합니다.[2025-05-25] 우리는 GraphRAG 모델 평가를 위한 GraphRAG Benchmark를 공개합니다.[2025-01-21] 우리는 GraphRAG 설문조사(survey)를 공개합니다.

📃 저희의 설문조사나 저장소를 유용하게 사용하셨다면 논문을 인용해 주세요!

📫 이메일을 통해 문의하세요: {xiangzhishang,wuchuanjie}@stu.xmu.edu.cn, qinggangzhang@jlu.edu.cn

이 저장소는 GraphRAG 모델을 평가하기 위한 포괄적인 벤치마크인 GraphRAG-Bench 프로젝트를 위한 것입니다.

• 그래프 검색 증강 생성(Graph Retrieval-Augmented Generation, GraphRAG) 개념 소개
• 전통적인 RAG 대 GraphRAG 접근 방식 비교
• 연구 목표 설명: GraphRAG가 전통적인 RAG보다 우수한 성능을 보이는 시나리오 식별
• RAG 대 GraphRAG의 시각적 비교 다이어그램

더 자세한 내용

그래프 검색 증강 생성(GraphRAG)은 외부 지식을 활용하여 대규모 언어 모델(LLMs)을 향상시키는 강력한 패러다임으로 부상했습니다. 이는 그래프를 활용하여 특정 개념 간의 계층적 구조를 모델링함으로써, 정확한 추론을 위한 더욱 일관되고 효과적인 지식 검색을 가능하게 합니다. 이러한 개념적 잠재력에도 불구하고, 최근 연구에 따르면 GraphRAG는 많은 실제 작업에서 일반(vanilla) RAG보다 성능이 떨어지는 경우가 잦다고 보고됩니다. 이는 중요한 질문을 제기합니다: 과연 GraphRAG가 정말 효과적인가? 그리고 어떤 시나리오에서 그래프 구조가 RAG 시스템에 측정 가능한 이점을 제공하는가? 이를 해결하기 위해, 우리는 계층적 지식 검색과 심층적 문맥 추론 모두에서 GraphRAG 모델을 평가하도록 설계된 포괄적인 벤치마크인 GraphRAG-Bench를 제안합니다. GraphRAG-Bench는 사실 검색(fact retrieval), 복잡한 추론(complex reasoning), 문맥 요약(contextual summarization), 창의적 생성(creative generation)을 다루는 난이도가 증가하는 포괄적인 데이터셋과, 그래프 구성 및 지식 검색부터 최종 생성에 이르기까지 전체 파이프라인에 걸친 체계적인 평가를 특징으로 합니다. 이 새로운 벤치마크를 활용하여, 우리는 GraphRAG가 전통적인 RAG를 능가하는 조건과 그 성공의 근본적인 이유를 체계적으로 조사하고, 실질적인 적용을 위한 지침을 제공합니다.
두 가지 도메인별 리더보드는 포괄적인 메트릭을 갖추고 있습니다:

1. GraphRAG-Bench (신규)

• 문학/가상 콘텐츠에 대한 모델 평가

2. GraphRAG-Bench (의료)

• 의료/헬스케어 콘텐츠에 대한 모델 평가

평가 차원:

• 사실 검색(Fact Retrieval) (정확도(Accuracy), ROUGE-L)
• 복잡한 추론(Complex Reasoning) (정확도(Accuracy), ROUGE-L)
• 문맥 요약(Contextual Summarization) (정확도(Accuracy), 커버리지(Coverage))
• 창의적 생성(Creative Generation) (정확도(Accuracy), 사실 점수(Factual Score), 커버리지(Coverage))

레벨 1: 사실 검색
*예시:

레벨 3: 문맥 요약 (Contextual Summarization)
*예시: