MoG: 그래프 기반 검색 증강 생성(RAG)을 위한 전문가 혼합(Mixture of Experts) 방식

검색 증강 생성 (Retrieval-augmented generation, RAG)은 대규모 언어 모델 (Large Language Models, LLM)을 외부 증거에 기반하도록 만들기 위해 집중적으로 연구되고 있습니다. 그러나 통합된 지식 베이스에서 정보를 검색하는 것은 복잡한 추론 과정에서 생성을 오도할 수 있는 무관한 정보를 필연적으로 도입할 수 있습니다. 각 입력에 대해 공유 전문가와 함께 특화된 전문가를 라우터 (Router)가 희소하게 선택하는 전문가 혼합 (Mixture of Experts, MoE)의 조건부 계산 (Conditional computation) 방식에서 영감을 얻어, 우리는 그래프 기반 검색 증강 생성 (Graph-based Retrieval-Augmented Generation)을 위한 전문가 혼합, 즉 extbf{MoG}를 제안합니다. MoG는 지식을 두 가지 핵심 구성 요소로 구성합니다: (i) 의미적 및 구조적으로 중심적인 지식을 인코딩하고 전문가 활성화를 위한 문맥적 단서를 제공하는, 다양하고 항상 접근 가능한 허브 그래프 (Hub graphs), 그리고 (ii) 도메인 특화된 증거를 포함하는 희소하게 활성화되는 전문가 그래프 (Expert graphs)입니다. MoG는 먼저 허브 그래프에 접근하여 일반적인 증거를 식별하고 문맥적 단서를 도출합니다. 그 다음, 토폴로지 인식 라우터 (Topology-aware router)가 질의 (Query)에 따라 제한된 전문가 그래프 세트를 동적으로 활성화함으로써, 검색 범위를 집중된 증거 부분 공간 (Evidence subspace)으로 제한합니다. 까다로운 벤치마크에 대한 광범위한 실험 결과, MoG는 강력한 베이스라인 모델들을 일관되게 능가하며, MuSiQue 데이터셋에서 20% 이상의 상대적 성능 향상을 보여주었습니다. 우리의 코드는 https://github.com/DEEP-PolyU/MoG 에서 확인할 수 있습니다.