스칼라 점수를 넘어: 방사선 보고서의 임상적 유의성 평가를 위한 LLM 기반 지표 탐색

생성된 방사선 보고서(radiology reports)의 신뢰할 수 있는 평가는 엄격한 임상적 정확성을 요구합니다. 중요한 소견이 누락되거나 방사선학적 관찰 결과가 잘못 기술되면 환자 치료에 직접적인 영향을 미칠 수 있기 때문입니다. 기존의 지표들은 보고서의 품질을 의학적 근거가 없는 스칼라(scalar) 값으로 축소함으로써 이러한 요구 사항을 모호하게 만듭니다. 거대 언어 모델(LLMs)은 풍부한 의학적 지식을 보유하고 있음에도 불구하고, 임상적으로 유의미한 오류와 무해한 변이(variation) 사이의 신뢰할 수 있는 경계를 설정하는 데 어려움을 겪습니다. 본 연구에서는 ReEvalMed 벤치마크를 테스트베드로 사용하여 이 경계를 연구하며, 실제 임상 오류를 탐지하는 능력("판별력 (Discrimination)")과 무의미한 변이를 허용하는 능력("강건성 (Robustness)")을 통해 지표 수준의 임상적 유의성을 평가합니다. 단일 패스(one-pass) 및 이중 패스(two-pass) 설정 하에서 8개의 LLM 평가자를 대상으로 조사한 결과, 광범위한 판별 편향(discrimination bias)을 확인했습니다. 즉, 모델들이 오류는 효과적으로 탐지하지만, 무해한 재표현(rephrasings)에 대해서도 과도하게 벌점을 부여한다는 것입니다. 이를 완화하기 위해, 우리는 4k개의 보고서 쌍을 합성하고 Qwen3-8B 및 MedGemma-4B를 사용하여 경량화된 해석 가능한 지표를 학습시켰습니다. 우리가 학습시킨 지표는 임상적 유의성 경계를 더욱 날카롭게 다듬었으며, 32B 규모의 의료용 LLM을 능가하고 독점 모델(proprietary models)과도 경쟁할 만한 성능을 보였습니다. 결정적으로, 비용이 더 많이 드는 이중 패스 설정은 전반적인 성능을 일관되게 향상시키지 못하며, 주로 판별력을 강건성과 맞바꾸는 결과를 초래했습니다. 이러한 발견은 비용에 민감한 배포 환경에서는 단일 패스로 학습된 지표가 실용적인 선택임을 시사하며, 이중 패스 추론은 판별력(D)과 강건성(R)의 균형이 결정적인 설정에서만 사용될 것을 권장합니다. 우리는 데이터셋과 지표를 공개할 예정입니다.