ClinHallu: 의료 MLLM 추론 과정의 단계별 환각 진단을 위한 벤치마크

신뢰할 수 있는 의료 멀티모달 거대 언어 모델 (Medical Multimodal Large Language Models, MLLMs)을 구축하는 것은 신뢰할 수 있는 임상 의사 결정 지원을 위해 매우 중요합니다. 기존의 의료 환각 (Medical Hallucination) 벤치마크는 주로 데이터 수집에 집중되어 있지만, 추론 과정 내의 어디에서 환각이 발생하는지는 종종 간과합니다. 우리는 환각의 원인이 샘플마다 다르다는 것을 발견했습니다. 즉, 오류는 시각적 오인식 (Visual Misrecognition), 잘못된 의학 지식 회상 (Incorrect Medical Knowledge Recall), 또는 결함이 있는 추론 통합 (Flawed Reasoning Integration)에서 발생할 수 있습니다. 소스 수준의 환각 진단을 가능하게 하기 위해, 우리는 의료 MLLM 추론에서의 단계별 환각 진단을 위한 벤치마크인 ClinHallu를 소개합니다. ClinHallu는 검증된 7,031개의 인스턴스를 포함하며, 각 인스턴스는 시각적 인식 (Visual Recognition), 지식 회상 (Knowledge Recall), 그리고 추론 통합 (Reasoning Integration)으로 분해된 구조화된 추론 흔적 (Reasoning Trace)으로 증강되었습니다. 우리는 또한 특정 단계를 수정하는 것이 최종 답변에 어떤 영향을 미치는지 측정하기 위해 단계 교체 개입 (Stage-replacement Interventions)을 사용합니다. 평가를 넘어, 우리는 흔적 지도 미세 조정 (Trace-supervised Fine-tuning)이 단계별 환각을 줄인다는 것을 보여줍니다. ClinHallu는 의료 MLLM의 추론 실패를 진단하고 완화하기 위한 세밀한 환각 테스트베드를 제공합니다. 이 벤치마크는 https://github.com/alibaba-damo-academy/ClinHallu 에서 공개적으로 사용할 수 있습니다.