불일치로부터 배우기: 가치 기반 의료에서의 임상 AI를 위한 암묵적 선호 신호로서의 의사 오버라이드

우리는 임상 AI 추천에 대한 의사의 오버라이드 (override) 를 강화학습에서 인간 피드백을 통한 학습 (RLHF) 과 동일한 신호 구조를 활용하지만 더 풍부한 암묵적 선호 데이터로 재정의합니다. 이는 주석이 전문가이며, 대안들은 실제 결과를 가지며, 하류 결과들이 관찰 가능하기 때문입니다. 우리는 표준 선호 학습을 확장하는 세 가지 기여를 포함하는 형식적 프레임워크를 제시합니다: 오버라이드 유형을 모델 업데이트 타겟으로 매핑하는 5 개 범주의 오버라이드 분류학; 환자 상태 s, 조직적 컨텍스트 c, 그리고 의사 능력 kappa 에 조건부인 선호 공식화 (여기서 kappa 는 실행 능력 kappa-exec 와 정렬 능력 kappa-align 로 분해됨); 그리고 보상 모델과 능력 모델을 교대 최적화를 통해 공동으로 학습하는 듀얼 학습 아키텍처입니다. 이 아키텍처는 의사의 능력이 실행 임계값 미만일 때 올바른 그러나 어려운 추천이 체계적으로 억제되는 '억제 편향 (suppression bias)'이라는 실패 모드를 방지합니다. 우리는 결과 기반 지불 계약 하의 만성 질환 관리가 오버라이드 데이터에 고유하게 유리한 속성 (종단적 밀도, 집중된 의사결정 공간, 결과 레이블, 그리고 자연스러운 능력 변동) 을 가진다고 주장하며, 환자 궤적과 맞춘 보상 모델을 학습하기 위한 필수 조건은 종단적 결과 측정과 정렬된 재정적 인센티브를 결합한 학습 환경이라고 합니다. 이 프레임워크는 실제 가치 기반 의료 배포에서 의사의 능력을 개선하기 위한 운영 작업에서 비롯되었습니다.