ocean-luna/HMRAG

** [2025/06/26]** HM-RAG가

ACM MM2025에 채택되었습니다!

[2025/04/13]

🎉🎉 저희의 논문을 공개합니다: HM-RAG: 계층적 멀티 에이전트 멀티모달 검색 증강 생성 (Hierarchical Multi-Agent Multimodal Retrieval Augmented Generation).

• 논문 (Paper)
• 최적화된 멀티 검색 (multi-retrieval) 방법
• 최적화된 생성 (generation) 메커니즘

저희는 구조화된 데이터, 비구조화된 데이터, 그리고 그래프 기반 데이터를 가로지르는 동적 지식 합성을 위한 협업 지능을 개척하는 새로운 계층적 멀티 에이전트 멀티모달 RAG 프레임워크인 HM-RAG를 제시합니다. 이 프레임워크는 전문화된 에이전트들로 구성된 3단계 아키텍처로 이루어져 있습니다: 의미론적 인지 쿼리 재작성 (semantic-aware query rewriting) 및 스키마 가이드 컨텍스트 증강 (schema-guided context augmentation)을 통해 복잡한 쿼리를 문맥적으로 일관된 하위 작업으로 분해하는 분해 에이전트 (Decomposition Agent); 벡터, 그래프, 웹 기반 데이터베이스용으로 설계된 플러그 앤 플레이 (plug-and-play) 모듈을 사용하여 병렬적이고 모달리티별 검색을 수행하는 멀티 소스 검색 에이전트 (Multi-source Retrieval Agents); 그리고 일관성 투표 (consistency voting)를 사용하여 멀티 소스 답변을 통합하고 전문가 모델 정제 (Expert Model Refinement)를 통해 검색 결과의 불일치를 해결하는 결정 에이전트 (Decision Agent)입니다.

Conda 환경을 생성하고 requirements.txt를 사용하여 종속성을 설치할 수 있습니다:

conda create --name hmrag python=3.10
conda activate hmrag
pip install -r requirements.txt

또는 제공된 YML로 환경을 설정하세요:

conda env create -f environment.yml

실행을 용이하게 하기 위해, 모델을 다운로드할 수 있는 Ollama 라이브러리 설치를 권장합니다. 또한 Hugging Face를 사용하여 해당 LLM들을 다운로드할 수도 있습니다.

Ollama https://ollama.com/

Hugging Face https://huggingface.co/

저희가 사용한 데이터셋으로 테스트하고 싶다면, 데이터를 다운로드하기 위해 다음을 실행할 수 있습니다.

bash dataset/download_ScienceQA.sh

저희는 MMKG (멀티모달 지식 그래프) 구축을 위한 경량 프레임워크인 LightRAG를 활용합니다. LightRAG에 관한 자세한 내용은 공식 리포지토리를 방문해 주세요: https://github.com/HKUDS/LightRAG.

python main.py --working_dir --serper_api_key --openai_key

이 리포지토리가 유용하다고 생각하신다면, 별(star) ⭐과 인용(citation)을 부탁드립니다.

@article{liu2025hm,
title={Hm-rag: Hierarchical multi-agent multimodal retrieval augmented generation},
author={Liu, Pei and Liu, Xin and Yao, Ruoyu and Liu, Junming and Meng, Siyuan and Wang, Ding and Ma, Jun},
...