Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
실제 임상 현장의 복잡성을 반영하기 위해 개발된 다회차 멀티모달 임상 진단 평가 벤치마크 ClinMM-Bench를 소개합니다. 15개의 MLLMs를 평가한 결과, 모델들이 진단 방향은 식별하나 신뢰할 수 있는 추론 생성에는 한계가 있음을 확인했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기임상 진단 평가는 모델이 정확한 진단을 내릴 수 있는지뿐만 아니라, 멀티모달 정보의 점진적 공개, 진단 가설의 동적 업데이트, 임상 추론의 지속적인 정교화 등 실제 임상 현장의 현실을 반영해야 합니다. 그러나 기존의 멀티모달 거대 언어 모델 (MLLMs) 평가는 일반적으로 단회차(single-turn) 또는 고립된 작업에 의존하여, 실제 임상 진단의 복잡성을 완전히 포착하기 어렵습니다. 이러한 격차를 해소하기 위해, 우리는 현재까지 가장 큰 규모의 다회차 멀티모달 임상 진단 평가 벤치마크인 ClinMM-Bench를 개발했습니다. ClinMM-Bench는 8개 전문 분야에 걸쳐 1,089개의 도전적인 실제 임상 사례와 3,760개의 의료 영상을 포함하고 있습니다. 우리는 진단 정확도와 진단 추론 품질을 모두 평가하는 2단계 평가 프레임워크를 사용하여 15개의 대표적인 MLLMs를 체계적으로 평가했습니다. 결과에 따르면, 독점 모델(proprietary models)이 가장 높은 전반적인 진단 정확도를 달성했으나, 모든 모델에서 완전히 정확한 진단의 비율은 여전히 제한적이었습니다. 진단 추론 품질 측면에서 현재 모델들은 타당한 진단 방향을 식별할 수는 있지만, 신뢰할 수 있는 진단 추론을 생성하는 데에는 여전히 상당한 한계가 있습니다. 오류 분석을 통해 정보 합성 실패 (information synthesis failure), 지식 매핑 오류 (knowledge mapping error), 지각 오류 (perception error), 조기 종결 (premature closure), 시각적 환각 (visual hallucination)의 다섯 가지 대표적인 실패 모드를 추가로 확인했습니다.