MedHal-Loc: '구조적 설명 가능성'을 갖춘 의료 환각 탐지기는 충실한 지역화(Localization) 도구인가? 지역화 벤치마크

요약

의료 텍스트 내 환각 탐지기의 '지역화(Localization)' 능력을 검증하기 위한 새로운 벤치마크 MedHal-Loc을 제안합니다. 기존의 지식 그래프 기반 모델들이 높은 탐지 성능에도 불구하고 실제 오류 구간을 정확히 짚어내는 지역화 능력은 부족함을 입증했습니다.

핵심 포인트

• 환각 탐지 시 오류가 발생한 정확한 구간을 지목하는 '지역화 충실도'의 중요성 강조
• PubMedQA 기반의 4가지 오류 유형을 포함한 MedHal-Loc 벤치마크 공개
• 기존 KG-트리플 파이프라인의 낮은 지역화 성능(우연 수준) 확인
• 탐지 성능이 높다고 해서 반드시 설명 가능한 지역화가 이루어지는 것은 아님을 시사