예측에서 실천까지: 혈당 예측을 위한 작업 인식 평가 프레임워크

임상 시계열 예측은 의사결정 지원에 점차 연구되고 있으나, 표준 집계 지표를 사용하면 모델이 의도한 작업을 실제로 수행하는지 여부를 파악하기 어렵다. 안전이 중요한 환경에서는 낮은 평균 오차와 가장 중요한 고위험 영역에서 위험한 실패가 공존할 수 있다. 우리는 혈당 예측을 위한 작업 인식 평가 프레임워크를 제시하며, 이는 저혈당 조기 경보 및 인슐린 투여 결정 지원이라는 두 가지 다운스트림 용도에 기반한다. 조기 경보의 경우, 세 가지 임상 코호트에서 실제 데이터를 사용하여 환자 일당 사건 수준 회귀율과 환자에게 발생한 허위 경보 수로 평가하며, 이는 집계 정확도가 아닌 운영적 경보 부담을 반영한다. 우리는 전체 테스트 세트에서 회귀율이 0.9 이상으로 전반적으로 수용 가능한 모델이라도 인슐린 투여 후 시간 (post-bolus) 슬라이스에서는 인슐린 보드 (insulin-on-board) 가 상승한 상태에서 경보 누락이 가장 큰 임상적 결과를 초래할 수 있음을 보여준다. 그러나 표준 예측 평가는 모델이 행동의 효과를 추론할 수 있는지 여부를 테스트하지 않으며, 이는 인슐린 투여 결정 지원을 위한 필수 요구사항이다. 따라서 우리는 FDA 승인된 UVA/Padova 시뮬레이터를 사용하여 두 번째 개입 (interventional) 팔을 추가하며, 사실적/반실적 (factual/counterfactual) 시나리오에서 예측자가 변경된 인슐린 계획에 대한 혈당 반응을 예측할 수 있는지 평가한다. 우리는 실제 데이터 예측에서 강해 보이는 모델이 개입 효과의 방향, 크기 또는 순위 예측에 실패하고, 임상적 모티베이션 비용 하에서 평가될 때 poor insulin doses 를 선택함을 보여준다. 종합적으로, 두 팔은 예측 정확도와 작업 관련 유용성 사이의 일관된 격차를 드러낸다. 우리는 벤치마크, 공개 코호트를 위한 표준화된 전처리 파이프라인, 그리고 시뮬레이션 기반 개입 데이터를 재현 가능한 툴킷으로 출시한다.