블랙박스 신뢰도에서 측정 가능한 임상 AI 신뢰로: 증거, 감독, 단계적 자율성을 위한 프레임워크

임상 인공지능 (AI) 에 대한 신뢰는 모델의 정확도, 생성물의 유창성, 또는 전반적인 긍정적인 사용자 인상에만 의존할 수 없습니다. 의학 분야에서는 신뢰를 증거, 감독, 그리고 AI 자율성의 운영적 한계를 기반으로 측정 가능한 시스템 속성으로 설계해야 합니다. 본 논문은 증거 (evidence), 감독 (supervision), 단계적 자율성 (staged autonomy) 이라는 세 가지 원칙을 중심으로 구축된 신뢰할 수 있는 임상 AI 의 실용적인 프레임워크를 제안합니다. 제안된 접근법은 엔드투엔드 블랙박스 모델로 결정론적 임상 논리를 완전히 대체하는 대신, 결정론적 핵심 (deterministic core), 맥락적 검증을 위한 환자 특이적 AI 어시스턴트, 다중 계층 모델 에스컬레이션 메커니즘, 그리고 검증, 에스컬레이션, 리스크 관리를 위한 인간 감독 레이어를 결합합니다. 우리는 신뢰가 임상적으로 중요한 발견에 대한 선택적 검증, 제한된 임상 컨텍스트, 엄격한 프롬프트 아키텍처, 그리고 현실적인 사례에 대한 신중한 평가에도 의존함을 보여줍니다. 분류기 기반 모듈러 프롬프팅 (classifier-driven modular prompting) 은 규칙 기반 포괄성을 기다리지 않고 프롬프트 성능을 저하시키지 않으면서 임상 깊이를 확장하는 점진적인 경로의 하나로 검토됩니다. 신뢰를 실현화하기 위해 측정학 원리 (측정 불확실성, 보정, 추적 가능성) 를 기반으로 한 일련의 신뢰 지표가 제안되어 각 아키텍처 레이어에 대한 정량적 평가가 가능해집니다. 이러한 관점에서 신뢰할 수 있는 임상 AI 는 개별 모델의 속성이 아니라, 처음부터 증거 흔적 (evidence trails), 인간 감독, 계층적 에스컬레이션, 그리고 점진적 행동 권한이 내장된 시스템의 아키텍처적 결과물로서 나타납니다.