ClinHallu: 의료 MLLM 추론 과정의 단계별 환각 진단을 위한 벤치마크

원문 발행 2026. 06. 13. 02:58원문 언어 영어AI 한국어 번역arXiv cs.CL (NLP) 원문 보기

요약

의료 MLLM의 추론 과정에서 발생하는 환각을 단계별로 진단하기 위한 새로운 벤치마크인 ClinHallu를 소개합니다. 시각적 인식, 지식 회상, 추론 통합의 세 단계로 오류 원인을 분석하며, 흔적 지도 미세 조정을 통해 환각을 완화하는 방법을 제시합니다.

핵심 포인트

의료 MLLM의 단계별 환각 진단을 위한 ClinHallu 벤치마크 공개
환각 원인을 시각적 인식, 지식 회상, 추론 통합으로 세분화하여 분석
7,031개의 검증된 인스턴스와 구조화된 추론 흔적(Reasoning Trace) 제공
흔적 지도 미세 조정(Trace-supervised Fine-tuning)을 통한 환각 감소 효과 입증

신뢰할 수 있는 의료 멀티모달 거대 언어 모델 (Medical Multimodal Large Language Models, MLLMs)을 구축하는 것은 신뢰할 수 있는 임상 의사 결정 지원을 위해 매우 중요합니다. 기존의 의료 환각 (Medical Hallucination) 벤치마크는 주로 데이터 수집에 집중되어 있지만, 추론 과정 내의 어디에서 환각이 발생하는지는 종종 간과합니다. 우리는 환각의 원인이 샘플마다 다르다는 것을 발견했습니다. 즉, 오류는 시각적 오인식 (Visual Misrecognition), 잘못된 의학 지식 회상 (Incorrect Medical Knowledge Recall), 또는 결함이 있는 추론 통합 (Flawed Reasoning Integration)에서 발생할 수 있습니다. 소스 수준의 환각 진단을 가능하게 하기 위해, 우리는 의료 MLLM 추론에서의 단계별 환각 진단을 위한 벤치마크인 ClinHallu를 소개합니다. ClinHallu는 검증된 7,031개의 인스턴스를 포함하며, 각 인스턴스는 시각적 인식 (Visual Recognition), 지식 회상 (Knowledge Recall), 그리고 추론 통합 (Reasoning Integration)으로 분해된 구조화된 추론 흔적 (Reasoning Trace)으로 증강되었습니다. 우리는 또한 특정 단계를 수정하는 것이 최종 답변에 어떤 영향을 미치는지 측정하기 위해 단계 교체 개입 (Stage-replacement Interventions)을 사용합니다. 평가를 넘어, 우리는 흔적 지도 미세 조정 (Trace-supervised Fine-tuning)이 단계별 환각을 줄인다는 것을 보여줍니다. ClinHallu는 의료 MLLM의 추론 실패를 진단하고 완화하기 위한 세밀한 환각 테스트베드를 제공합니다. 이 벤치마크는 https://github.com/alibaba-damo-academy/ClinHallu 에서 공개적으로 사용할 수 있습니다.

AI 자동 생성 콘텐츠

원문 바로가기

ClinHallu: 의료 MLLM 추론 과정의 단계별 환각 진단을 위한 벤치마크

요약

핵심 포인트

댓글