Vector RAG vs LLM-Compiled Wiki: 소규모 다중 도메인 연구에 대한 사전 등록된 비교

요약

소규모 다중 도메인 연구 코퍼스를 대상으로 Vector RAG와 LLM이 컴파일한 마크다운 위키 방식의 성능을 비교 분석했습니다. 연구 결과, 위키 방식은 논문 간 내용 연결과 인용 정확도 측면에서 우수했으나, RAG는 단일 사실 조회와 비용 효율성 측면에서 강점을 보였습니다.

핵심 포인트

• 위키 방식은 논문 전반의 내용을 연결하고 주장 수준의 인용 확인(Claim-level citation checking)에서 RAG보다 우수한 성능을 보임
• Vector RAG는 단일 사실 조회(Single-fact lookup) 질문에 효과적이며, 위키 방식보다 쿼리 토큰 비용이 저렴함
• 분해 기반(Decomposition-based) RAG 변형 모델은 비용 효율성을 높이면서 논문 간 합성 능력을 개선할 수 있음
• 근거 중심의 연구 합성 능력은 증거 구성, 인용 지원, 실행 비용에 따라 시스템별로 상이하게 나타남