다중 소스 RAG에서의 사실 밀도 평가: 의료 AI 정확도에 관한 연구

검색 증강 생성 (Retrieval-Augmented Generation, RAG)은 AI를 실제 세계의 사실에 근거하게 만드는 현재의 산업 표준입니다. 전통적인 검색 방법은 키워드 매칭과 주제 근접성에 의존하며, 사용자의 질의와 얼마나 유사하게 들리는지에 따라 콘텐츠의 순위를 매깁니다. 하지만 이 방법들은 콘텐츠가 실제로 얼마나 많은 검증된 사실을 포함하고 있는지는 측정하지 못합니다. '전문가 맹목 효과 (Expert Blindness Effect)'라고 불리는 이러한 구조적 격차로 인해, 표준 RAG 파이프라인은 동일한 주제에 대해 어휘적으로 지배적인 텍스트를 선호하며 밀도 높은 사실적 증거를 지속적으로 묻어버리는 결과를 초래합니다.

이러한 격차를 해결하기 위해, 본 논문은 전체 토큰 수 대비 검증된 원자적 주장 (atomic claims)의 비율을 측정하는 새로운 검색 최적화 신호인 사실 밀도 (Factual Density, FD*)를 소개합니다. NexusAgentics Ghost Audit 전처리 파이프라인을 사용하여, 말뭉치 (corpus) 주입 전 확률적 사실성 분석 (probabilistic factuality analysis)을 통해 원문 텍스트의 사실적 구체성을 점수화하고 콘텐츠를 필터링합니다. 초기 공식화 단계에서는 심각한 문서 길이 혼란 변수 (document-length confound)가 발생했습니다 (Pearson R = -0.8636, p = 2.27e-07). 길이 구간 내에서 Z-점수 정규화 (Z-score normalization)를 구현함으로써 이 편향을 해결하였고, FD*가 길이에 독립적인 밀도 신호임을 검증했습니다 (p = 0.0749).

의료 전문가들이 '지지됨 (Supported)', '반박됨 (Refuted)', 또는 '증거 없음 (No Evidence)'으로 라벨링한 750개의 건강 관련 주장으로 구성된 HealthFC 벤치마크를 통해 평가한 결과, FD*로 최적화된 검색은 상위 5개 결과에서 100%의 체계적 검토 포화도 (systematic review saturation)를 달성한 유일한 조건이었으며, 표준 코사인 유사도 (cosine similarity)가 상위 10위 밖에 배치했던 Cochrane 증거를 찾아냈습니다. 정답 (ground truth) 검증 결과, 7개의 HealthFC 지원 주장 전반에 걸쳐 25개의 매핑을 확인했습니다. 말뭉치-벤치마크 정렬의 제약으로 인해 n=50개의 질의에 대한 전체 통계적 검증은 향후 과제로 남아 있으나, 이러한 발견은 사실 밀도 재순위화 (factual density reranking)가 의료 RAG 아키텍처에서 사실적 정밀도를 향상시키기 위한 저비용 고효율의 개입 방법임을 입증합니다.