생의학적 검색 증강 생성 (RAG) 전략 벤치마킹: 통제된 경험적 연구

요약

본 논문은 고위험 도메인인 생의학 분야에서 가장 효과적인 검색 증강 생성(RAG) 전략을 체계적으로 비교 분석한 연구입니다. 5가지 주요 검색 전략(Dense Vector Search, Hybrid BM25 + Dense retrieval 등)을 통제된 환경에서 평가했으며, GPT-4o-mini와 같은 고정된 LLM 및 임베딩 모델을 사용하여 검색 자체의 성능 차이를 명확히 했습니다. 평가 결과, Cross-Encoder Reranking 전략이 가장 높은 종합 점수와 컨텍스트 정밀도를 달성하여 쿼리-문서 상호작용 개선의 중요성을 입증했습니다. 또한, 모든 RAG 조건이 무(無) 컨텍스트 상황 대비 답변 관련성에서 현저한 우위를 보이며 검색 시스템의 실질적인 가치를 확인했습니다.

핵심 포인트

• Cross-Encoder Reranking 전략이 가장 높은 종합 성능과 컨텍스트 정밀도를 보여 생의학적 RAG에 가장 효과적임을 입증했다.
• 단순 쿼리 다변화(Multi-Query Expansion)는 재현율을 높일 수 있으나, 검색 노이즈를 유발하여 낮은 컨텍스트 정밀도의 위험이 있다.
• MMR 전략은 답변의 다양성을 추구하는 과정에서 관련성(Relevance)을 희생할 수 있음을 보여준다.
• 모든 RAG 시스템은 무컨텍스트 LLM 대비 답변 관련성 측면에서 극적인 성능 향상을 보이며 검색의 실질적 가치를 입증했다.