복잡한 임상 의사결정에서 AI 평가자의 차별성은 채점 프로토콜에 따라 달라진다

임상 AI 평가(Clinical AI evaluation)에서 AI 평가자(AI raters) 역할을 수행하는 대규모 언어 모델(LLMs)에 채점 권한을 위임하는 사례가 점점 늘고 있으나, 평가 조건에 따른 이들의 채점 행동은 정량적으로 규명된 바가 없습니다. 본 연구에서는 7개의 평가 질문을 통해 운영되는 복잡한 의사결정 임상 과제인 성인 제2형 당뇨병(T2D) 약물 요법의 12개월 외래 추적 관찰 상황에서 AI 평가자의 행동을 요인 설계 연구(factorial study)를 통해 분석함으로써 이러한 공백을 메우고자 합니다. 4개의 오픈 소스 LLM이 임상 의사결정 지원 시스템(CDSS) 모델이자 동시에 AI 평가자로 활용되었습니다. 각 CDSS 출력물은 두 가지 채점 프로토콜 하에서 점수가 매겨졌습니다: 환자 맞춤형 루브릭(rubric)을 포함하는 루브릭 기반의 골드 루브릭(Gold Rubric, GR) 프로토콜과, 루브릭이 없는 논-골드 루브릭(Non Gold Rubric, Non-GR) 프로토콜입니다. 선형 혼합 효과 모델(Linear mixed effects models)을 사용하여 채점 프로토콜 요인을 5가지 설계 요인인 CDSS 모델, CDSS 프롬프트 구성(문서 참조 생성 [DRG] 대 베이스라인 [Baseline]), 평가자 모델, 프롬프트 특성, 프롬프트 유형과 교차 분석하였으며, 주효과와 프로토콜 상호작용을 함께 추정하였습니다. 모든 질문에 걸쳐, AI 평가자들은 GR 조건에 비해 Non-GR 조건에서 매우 좁은 범위(평균 7478점) 내에서 일관되게 더 높은 점수를 산출했습니다(GR 대비 평균 점수가 7.6949.64점 낮았으며, 사분위 범위(interquartile ranges)는 1.68~3.67배 더 넓었습니다). 각 질문 내에서 GR은 DRG와 베이스라인 CDSS 출력물 간의 AI 평가자의 변별력(discrimination)을 1.76배에서 5.10배까지 증폭시켰으며, 동시에 Non-GR에서는 억제되었던 평가자 모델 간의 상당한 행동적 변동성을 드러냈습니다. 이러한 결과는 루브릭 고정(rubric anchoring)이 임상 AI 평가에서 변별력을 유지하는 채점 프로토콜임을 뒷받침합니다. 평가 질문이 평가자 모델이 매개변수적 지식(parametric knowledge)만으로는 추론할 수 없는 환자 맞춤형 또는 관할 구역별 기준을 요구할 경우, 루브릭이 없는 채점 방식은 이를 대체할 수 없습니다.