DyG-RAG: 이벤트 중심 동적 그래프 검색 증강 생성 프레임워크

DyG-RAG는 비정형 텍스트 데이터에 내재된 시간적 지식을 포착, 구성 및 추론하도록 특별히 설계된 최초의 이벤트 중심 동적 그래프 검색 증강 생성(retrieval-augmented generation) 프레임워크입니다. 이 프레임워크는 이벤트를 그래프 구조화된 표현으로 명시적으로 모델링함으로써 향상된 시간적 추론을 촉진하며, 시간적 질의응답(temporal QA) 작업에서 상당한 정확도 개선을 가져옵니다.

시간적 텍스트 지식을 위한 최초의 동적 그래프 구조: 우리는 이벤트 중심 관점에서 시간적 텍스트 지식을 구조화하고 저장하는 최초의 동적 그래프 검색 증강 생성 시스템을 소개합니다.명시적 시간 인코딩을 갖춘 이벤트 세분성(Event Granularity): 우리는 지식 구성 단계에 시간 정보를 명시적으로 임베드하는 새로운 동적 이벤트 유닛(DEU) 세분성을 제안하여, 미세한 시간적 인코딩이 가능하게 합니다.다운스트림 작업을 위한 RAG-추론 통합: DyG의 구축은 본질적으로 검색 증강 생성과 시간적 추론을 다운스트림 시간적 QA 작업에 통합하는 것을 지원하며, Time-CoT 프롬프팅 접근 방식을 가능하게 합니다.실증적 검증: 우리는 세 가지 유형의 독립적인 시간적 질의응답 데이터셋 전반에 걸쳐 DyG-RAG의 우수한 성능을 확인했으며, 이는 실제 시나리오에서의 효과성을 입증합니다.

cd DyG-RAG
conda create -n dygrag python=3.10
conda activate dygrag
...

OpenAI API 키를 설정하세요:

# 옵션 1: API 환경 변수
export OPENAI_API_KEY="your_api_key_here"

# 필수 모델 다운로드
cd models
python download.py

다운로드된 모델:

이 스크립트는 두 가지 필수 모델을 다운로드합니다:

• Cross-Encoder Model:-
  모델 이름: cross-encoder/ms-marco-TinyBERT-L-2-v2

• 로컬 경로: ./models/cross-encoder_ms-marco-TinyBERT-L-2-v2/

• 크기: ~67MB

• NER Model:-
  모델 이름: dslim/bert-base-NER

• 로컬 경로: ./models/dslim_bert_base_ner/

• 크기: ~1.2GB

• 모델 이름:

OpenAI 대신 로컬 모델을 사용하려면, 로컬 임베딩 및 LLM 구성을 위한 환경 변수를 설정할 수 있습니다 (BGE와 Qwen을 예시로 사용):

# 로컬 BGE 임베딩 모델 경로 (예: BGE-M3)
export LOCAL_BGE_PATH="/path/to/your/bge-m3"
# VLLM API 서비스 URL (예: 로컬 VLLM 서버)
...

# OpenAI를 사용한 기본 사용법
cd examples
python openai_all.py
...

DyG-RAG/
├── requirements.txt # 의존성 라이브러리
├── examples/ # 사용 예시
...

• 더 많은 모델 선택 지원
• 다양한 벡터 데이터베이스 지원
• 다양한 그래프 데이터베이스 지원

본 프로젝트는 Gustavo Ye의 nano-graphrag의 훌륭한 작업을 기반으로 구축되었습니다. 저희는 간단하고 쉽게 활용할 수 있는 GraphRAG 구현을 제공하여 DyG-RAG 시스템의 토대가 되어준 원작자에게 진심으로 감사를 표합니다.