XAI 평가 재고: 고위험 환경에서의 Shapley 벤치마크에 대한 인간 중심 감사

Shapley 값은 설명 가능한 AI(XAI) 의 핵심이지만, 다양한 경쟁적 정의를 통해 확장되면서 실용적인 배포에 있어 합의가 부족한 분열된 지형을 형성했습니다. 이론적 차이는 잘 문서화되어 있지만, 평가는 여전히 인간의 유용성과의 정렬이 검증되지 않은 정량적 대용물에 의존하고 있습니다. 본 연구에서는 운영 리스크 워크플로우의 저지연 제약 조건 하에서 8 가지 Shapley 변형 간의 의미적 차이를 분리하기 위해 통합된 암모티즈드(unified amortized) 프레임워크를 사용합니다. 우리는 4 개 리스크 데이터셋을 대상으로 대규모 실증 평가를 수행했으며, 전문 분석가와 3,735 건의 사례 검토가 포함된 현실적인 사기 탐지 환경을 포함했습니다. 우리의 결과는 근본적인 불일치를 드러냅니다: 희소성(sparsity)과 충실도(faithfulness)와 같은 표준 정량적 지표는 인간이 인지하는 명확성과 의사결정 유용성과 분리되어 있습니다. 또한, 어떤 정의도 분석가의 객관적 성능을 개선하지는 않았지만, 설명은 일관되게 의사결정 신뢰도를 높였으며, 이는 고위험 환경에서 자동화 편향(automation bias) 의 심각한 위험을 신호합니다. 이러한 발견들은 현재의 평가 대용물이 하류의 인간 영향력을 예측하기에 부족함을 시사하며, 운영 의사결정 시스템에서 정의와 지표를 선택하기 위한 증거 기반 지침을 제공합니다.