대규모 시각 언어 모델(LVLM)의 흉부 X-ray 추론을 위한 시각적 귀인(Visual Attribution) 재고

요약

대규모 시각 언어 모델(LVLM)이 의료 영상 분석 시 시각적 증거에 기반하지 못하는 문제를 해결하기 위해, 반사실적 편집을 활용한 새로운 인과적 평가 프레임워크를 제안합니다. 연구 결과 기존의 시각적 귀인 방법론들이 모델의 실제 근거를 식별하는 데 한계가 있음을 확인하였으며, 이를 개선하기 위해 불균형 최적 운송 기반의 MedFocus 방법론을 개발했습니다. MedFocus는 임상적으로 유의미한 영역을 국소화하고 인과적 효과를 측정하여 기존 방식보다 뛰어난 설명력을 제공합니다.

핵심 포인트

• LVLM의 의료 영상 분석 시 시각적 근거(grounding) 부족은 임상적 신뢰성을 저해하는 주요 요인임
• 기존의 시각적 귀인 방법론들은 모델이 실제로 사용한 증거를 정확히 식별하지 못하는 경우가 많음
• 반사실적 편집을 통해 모델의 예측에 인과적 책임이 있는 샘플만을 선별하는 평가 프레임워크 개발
• 불균형 최적 운송(unbalanced optimal transport)을 활용한 개념 기반 귀인 방법론인 MedFocus 제안
• MedFocus는 공간적, 개념적, 토큰 수준에서 기존 방법론보다 우수한 성능을 입증함