MCompassRAG: 문단 수준 RAG를 위한 의미론적 나침반

요약

MCompassRAG는 LLM 증류를 통해 문단 수준의 RAG 성능을 최적화하는 경량 리트리버 기술입니다. 주제 메타데이터를 활용하여 추론 시 LLM 호출 없이도 높은 정보 효율성과 낮은 지연 시간을 달ai합니다.

핵심 포인트

• LLM-teacher 증류를 통한 경량 리트리버 학습
• 주제 메타데이터를 활용한 청크 표현 풍부화
• 추론 시 LLM 호출 제거로 지연 시간 5배 단축
• 정보 효율성 8.24% 향상