스칼라 점수를 넘어: 방사선 보고서의 임상적 유의성 평가를 위한 LLM 기반 지표 탐색

요약

방사선 보고서의 임상적 정확성을 평가하기 위해 LLM 기반의 새로운 지표를 연구합니다. 기존 모델들이 무해한 표현 변화에 과도한 벌점을 주는 판별 편향을 확인하였으며, 이를 해결하기 위해 경량화된 해석 가능한 지표를 제안합니다.

핵심 포인트

• LLM 평가자가 임상적 오류와 무해한 변이를 구분하는 데 어려움을 겪음
• ReEvalMed 벤치마크를 통해 모델의 판별력과 강건성을 분석
• Qwen3-8B 및 MedGemma-4B를 활용한 경량화된 지표 학습
• 단일 패스 설정이 비용 효율적이며 실용적인 배포에 적합함을 확인