CuraView: GraphRAG 기반 지식 검증으로 강화된 의료 환각 탐지 다중 에이전트 프레임워크
요약
CuraView는 방출 요약서 작성 시 발생하는 충실성 환각(faithfulness hallucinations) 문제를 해결하기 위해 설계된 다중 에이전트 프레임워크입니다. 이 시스템은 환자의 EHR 데이터에서 GraphRAG 기반 지식 그래프를 구축하고, 문장 수준의 증거 검색 및 분류(E1-E4)를 포함하는 폐쇄형 생성-탐지 파이프라인을 구현합니다. 실험 결과, CuraView는 기존 모델 대비 높은 F1 점수를 달성하며 임상 문서의 사실적 신뢰성을 크게 향상시키고 재사용 가능한 주석 데이터셋까지 제공함을 입증했습니다.
핵심 포인트
- CuraView는 GraphRAG 기반 지식 그래프를 활용하여 EHR 데이터에서 구조화되고 해석 가능한 증거 체인을 생성합니다.
- 시스템은 문장 수준의 4단계 증거 등급(E1-E4)을 통해 환각 탐지 및 근거 기반 설명을 제공하는 폐쇄형 파이프라인을 구현했습니다.
- 평가 결과, CuraView는 안전 임계값인 E4 지표에서 높은 F1 점수(0.831)를 달성하며 기존 베이스라인 대비 우수한 성능을 보였습니다.
- 본 접근 방식은 단순히 요약하는 것을 넘어, 사실적 신뢰성을 검증하고 후속 모델 훈련에 필요한 주석 데이터셋까지 생성할 수 있다는 장점을 가집니다.
방출 요약서 (discharge summaries) 는 긴 전자 건강 기록 (EHRs) 에서 중요한 정보를 추출해야 하는데, 수동으로 수행할 경우 노동 집약적입니다. 대형 언어 모델 (LLMs) 은 생성 효율성을 개선할 수 있지만, 원본 기록과 모순되는 진술을 생성하는 충실성 환각 (faithfulness hallucinations) 에 취약하여 환자 안전에 직접적인 위험을 초래합니다. 이를 해결하기 위해 우리는 방출 요약서에서 충실성 환각의 문장 수준 탐지와 증거 기반 설명을 위한 다중 에이전트 프레임워크인 CuraView 를 제시합니다. CuraView 는 환자 수준의 EHRs 에서 GraphRAG 기반 지식 그래프를 구축하고, 문장 수준 증거 검색 및 분류 (강력한 지원부터 직접적인 모순까지 4 개의 증거 등급 E1-E4) 을 포함하는 폐쇄형 생성-탐지 파이프라인을 구현하여 구조화되고 해석 가능한 증거 체인을 생성합니다. 우리는 Discharge-Me 벤치마크의 250 명의 환자 중 50 명을 테스트에 제외하고 CuraView 를 평가했습니다. our fine-tuned Qwen3-14B 탐지 모델은 안전 임계값인 E4 지표에서 F1 이 0.831 (召回率 90.9%, 정밀도 76.5%) 을 달성하고, E3+E4 에서 F1 이 0.823 으로 기본 모델 대비 50.0% 의 상대적 개선율을 보이며 RAGTruth 스타일 및 QAGS 스타일 베이스라인을 상회합니다. 이러한 결과는 증거 체인 기반 그래프 검색 검증이 임상 문서의 사실적 신뢰성을 크게 향상시키며, 동시에 후속 모델 훈련 및 정제에 재사용 가능한 주석 데이터셋을 생성함을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기