두 가지 검색 방법이 하나보다 낫다: 500개의 임상 질의를 통한 증거

포르투갈어 임상 텍스트에 대한 검색 설정(retrieval configurations)을 평가하기 위해 시작했을 때, 저는 하나의 방법이 압도할 것이라고 예상했습니다. 하지만 대신 더 흥미로운 사실을 발견했습니다. BM25와 밀집 검색 (dense retrieval)은 서로 다른 질문을 해결한다는 점입니다. 어느 것도 다른 하나의 대체재가 될 수 없습니다. 이 포스트는 임상 질의응답을 위한 하이브리드 검색 (hybrid retrieval)에 관한 500개 질의의 경험적 연구 방법론과 결과를 요약합니다. 모든 코드는 오픈 소스입니다: https://github.com/nomad-link-id/hybrid-rag-pipeline

설정 (The Setup)
6개의 의학 전문 분야(심장학, 내분비학, 감염학, 신장학, 신경학, 종양학)에 걸친 500개의 임상 질의. 각 질의는 임상 문서의 특정 구절에 근거한 단일 참조 답변을 가집니다. 네 가지 검색 설정이 평가되었습니다:

설정 (Config)	방법 (Method)
BM25-only	BM25 단독
BM25 with Portuguese stopword removal	포르투갈어 불용어 제거를 포함한 BM25
Dense-only	BioBERTpt 임베딩 (embeddings), 코사인 유사도 (cosine similarity)
Hybrid-RRF	상호 순위 융합 (Reciprocal Rank Fusion)을 통한 BM25 + 밀집 검색
Hybrid-Rerank	교차 인코더 (cross-encoder)로 재순위화된 RRF 후보군

상호 순위 융합 (Reciprocal Rank Fusion)이란 무엇인가?
RRF는 점수 정규화 (score normalization)를 요구하지 않고 여러 검색기(retrievers)의 순위 목록을 결합합니다:

def rrf_score ( rankings : list [ list [ str ]], k : int = 60 ) -> dict [ str , float ]: scores : dict [ str , float ] = {} for ranking in rankings : for rank , doc_id in enumerate ( ranking , start = 1 ): scores [ doc_id ] = scores . get ( doc_id , 0.0 ) + 1.0 / ( k + rank ) return dict ( sorted ( scores . items (), key = lambda x : x [ 1 ], reverse = True ))

결과 (Results)

설정 (Config)	Recall@5	MRR	Citation F1
BM25-only	0.71	0.64	0.82
Dense-only	0.68	0.61	0.78
Hybrid-RRF	0.84	0.77	0.91
Hybrid-Rerank	0.86	0.79	0.93

상호 보완성 발견 (The Complementarity Finding)
BM25-only 대 Dense-only에 대한 맥네마 검정 (McNemar's test):

• BM25는 맞고, Dense는 틀린 경우: 89개 질의
• Dense는 맞고, BM25는 틀린 경우: 57개 질의
  McNemar chi2 = 39.55, p < 0.001

이 비대칭성은 통계적으로 유의미합니다. Dense-only는 BM25가 해결한 질의의 22.2%를 놓쳤습니다. 당신에게는 둘 다 필요합니다.

인용 검증 (Citation Verification)
결정론적 접근 방식 (Deterministic approach) (BM25 점수 임계값 + 정확한 n-gram 중첩): 500개의 인용 중 461개 검증 완료. 프롬프트 기반 LLM 접근 방식 (Prompt-based LLM approach) (동일한 구절을 사용하되, LLM에게 "이 내용이 답변을 뒷받침합니까?"라고 질문): 500개 중 1개 검증 완료. 이 차이는 모델의 품질이 아니라 태스크 설계 (task design)의 문제입니다. 결정론적 확인은 실제 텍스트 중첩을 측정하지만, 프롬프트 확인은 중첩에 대한 모델의 의견을 측정합니다.

평가자 간 일치도 (Inter-Annotator Agreement)
두 명의 검토자가 독립적으로 주석을 단 100개의 질의-응답 쌍. Cohen's kappa = 0.954 — 임상 텍스트(clinical text)에서 무엇이 올바른 검색(retrieval)을 구성하는지에 대해 거의 완벽한 일치를 보였습니다.

실무적 시사점 (Practical Takeaway)

• BM25와 밀집 검색 (dense retrieval)을 모두 실행하십시오.
• RRF를 사용하여 결과를 병합하십시오.
• 결정론적 인용 검증 (deterministic citation verification)을 구현하십시오.
• 귀하의 도메인에서 McNemar 검정 (McNemar's test)을 통해 상호 보완성을 측정하십시오.

코드 및 데이터 (Code and Data)
https://github.com/nomad-link-id/hybrid-rag-pipeline
https://github.com/nomad-link-id/citation-guard

사전 출판 (Preprint):
https://doi.org/10.5281/zenodo.19686739

Igor Eduardo | igoreduardo.com | ORCID: 0009-0005-6288-1135