두 가지 검색 방법이 하나보다 낫다: 500개의 임상 질의를 통한 증거

원문 발행 2026. 05. 14. 04:14원문 언어 영어AI 한국어 번역Dev.to AI tag 원문 보기

요약

본 연구는 포르투갈어 임상 텍스트 기반 질의응답(QA) 시스템을 위한 검색 설정(retrieval configurations)을 평가한 경험적 연구 결과를 요약합니다. BM25와 밀집 검색(dense retrieval)은 서로 다른 강점을 가지므로, 이들을 상호 순위 융합(RRF)과 같은 하이브리드 검색 기법으로 결합하는 것이 가장 효과적임을 입증했습니다. 특히, 두 방법론의 성능을 비교한 McNemar 검정 결과는 두 방식이 통계적으로 유의미하게 상호 보완적임을 보여주었습니다.

핵심 포인트

BM25와 밀집 검색은 각각 다른 질문에 강점을 가지므로 대체재가 될 수 없다.
하이브리드 검색(Hybrid Retrieval)을 위해 Reciprocal Rank Fusion (RRF)을 사용하여 BM25와 Dense Search 결과를 결합하는 것이 높은 성능을 보인다.
실험 결과, Hybrid-Rerank 설정이 Recall@5 (0.84 -> 0.86), MRR (0.77 -> 0.79), Citation F1 (0.91 -> 0.93) 등 모든 지표에서 가장 우수한 성능을 보였다.
McNemar 검정 결과는 BM25와 Dense Search가 통계적으로 유의미하게 상호 보완적임을 입증하며, 두 검색 방식을 모두 사용하는 것이 필수적이다.
인용 검증 시, LLM 기반 프롬프트 방식보다 결정론적 텍스트 중첩(deterministic text overlap)을 측정하는 방식이 훨씬 신뢰성이 높다.

포르투갈어 임상 텍스트에 대한 검색 설정(retrieval configurations)을 평가하기 위해 시작했을 때, 저는 하나의 방법이 압도할 것이라고 예상했습니다. 하지만 대신 더 흥미로운 사실을 발견했습니다. BM25와 밀집 검색 (dense retrieval)은 서로 다른 질문을 해결한다는 점입니다. 어느 것도 다른 하나의 대체재가 될 수 없습니다. 이 포스트는 임상 질의응답을 위한 하이브리드 검색 (hybrid retrieval)에 관한 500개 질의의 경험적 연구 방법론과 결과를 요약합니다. 모든 코드는 오픈 소스입니다: https://github.com/nomad-link-id/hybrid-rag-pipeline

설정 (The Setup)
6개의 의학 전문 분야(심장학, 내분비학, 감염학, 신장학, 신경학, 종양학)에 걸친 500개의 임상 질의. 각 질의는 임상 문서의 특정 구절에 근거한 단일 참조 답변을 가집니다. 네 가지 검색 설정이 평가되었습니다:

설정 (Config)	방법 (Method)
BM25-only	BM25 단독
BM25 with Portuguese stopword removal	포르투갈어 불용어 제거를 포함한 BM25
Dense-only	BioBERTpt 임베딩 (embeddings), 코사인 유사도 (cosine similarity)
Hybrid-RRF	상호 순위 융합 (Reciprocal Rank Fusion)을 통한 BM25 + 밀집 검색
Hybrid-Rerank	교차 인코더 (cross-encoder)로 재순위화된 RRF 후보군

상호 순위 융합 (Reciprocal Rank Fusion)이란 무엇인가?
RRF는 점수 정규화 (score normalization)를 요구하지 않고 여러 검색기(retrievers)의 순위 목록을 결합합니다:

def rrf_score ( rankings : list [ list [ str ]], k : int = 60 ) -> dict [ str , float ]: scores : dict [ str , float ] = {} for ranking in rankings : for rank , doc_id in enumerate ( ranking , start = 1 ): scores [ doc_id ] = scores . get ( doc_id , 0.0 ) + 1.0 / ( k + rank ) return dict ( sorted ( scores . items (), key = lambda x : x [ 1 ], reverse = True ))

결과 (Results)

설정 (Config)	Recall@5	MRR	Citation F1
BM25-only	0.71	0.64	0.82
Dense-only	0.68	0.61	0.78
Hybrid-RRF	0.84	0.77	0.91
Hybrid-Rerank	0.86	0.79	0.93

상호 보완성 발견 (The Complementarity Finding)
BM25-only 대 Dense-only에 대한 맥네마 검정 (McNemar's test):

BM25는 맞고, Dense는 틀린 경우: 89개 질의
Dense는 맞고, BM25는 틀린 경우: 57개 질의
McNemar chi2 = 39.55, p < 0.001

이 비대칭성은 통계적으로 유의미합니다. Dense-only는 BM25가 해결한 질의의 22.2%를 놓쳤습니다. 당신에게는 둘 다 필요합니다.

인용 검증 (Citation Verification)
결정론적 접근 방식 (Deterministic approach) (BM25 점수 임계값 + 정확한 n-gram 중첩): 500개의 인용 중 461개 검증 완료. 프롬프트 기반 LLM 접근 방식 (Prompt-based LLM approach) (동일한 구절을 사용하되, LLM에게 "이 내용이 답변을 뒷받침합니까?"라고 질문): 500개 중 1개 검증 완료. 이 차이는 모델의 품질이 아니라 태스크 설계 (task design)의 문제입니다. 결정론적 확인은 실제 텍스트 중첩을 측정하지만, 프롬프트 확인은 중첩에 대한 모델의 의견을 측정합니다.

평가자 간 일치도 (Inter-Annotator Agreement)
두 명의 검토자가 독립적으로 주석을 단 100개의 질의-응답 쌍. Cohen's kappa = 0.954 — 임상 텍스트(clinical text)에서 무엇이 올바른 검색(retrieval)을 구성하는지에 대해 거의 완벽한 일치를 보였습니다.

실무적 시사점 (Practical Takeaway)