XAI 평가 재고: 고위험 환경에서의 Shapley 벤치마크에 대한 인간 중심 감사
요약
본 연구는 설명 가능한 AI(XAI) 분야에서 핵심적인 Shapley 값의 다양한 변형들이 실질적인 배포 환경에서 합의 부족과 평가 문제를 겪고 있음을 지적합니다. 저자들은 통합된 암모티즈드 프레임워크를 사용하여 여러 Shapley 변형 간의 의미론적 차이를 분석하고, 실제 사기 탐지 데이터셋을 기반으로 대규모 실증 평가를 수행했습니다. 그 결과, 표준적인 정량적 지표(예: 희소성, 충실도)가 인간이 인지하는 명확성이나 의사결정 유용성과는 분리되어 있음을 밝혀냈습니다. 특히, 설명 자체가 자동화 편향을 줄이고 의사결정 신뢰도를 높이는 등 중요한 인간적 영향을 미친다는 점을 강조하며, 고위험 환경에서의 XAI 평가에 대한 새로운 지침을 제시합니다.
핵심 포인트
- Shapley 값의 다양한 변형들은 이론적으로는 잘 정의되었으나, 실제 배포 및 실용적인 측면에서 합의가 부족한 상태입니다.
- 표준 정량적 XAI 평가 지표(희소성, 충실도 등)는 인간 사용자가 느끼는 명확성이나 의사결정 유용성을 정확하게 반영하지 못합니다.
- 어떤 Shapley 정의도 분석가의 객관적인 성능을 직접적으로 개선하지는 않았지만, 설명의 제공 자체가 시스템에 대한 신뢰도를 높이는 중요한 역할을 했습니다.
- 고위험 환경에서 XAI를 사용할 경우, 자동화 편향(automation bias)과 같은 인간 심리적 위험을 고려한 평가 지표가 필수적입니다.
Shapley 값은 설명 가능한 AI(XAI) 의 핵심이지만, 다양한 경쟁적 정의를 통해 확장되면서 실용적인 배포에 있어 합의가 부족한 분열된 지형을 형성했습니다. 이론적 차이는 잘 문서화되어 있지만, 평가는 여전히 인간의 유용성과의 정렬이 검증되지 않은 정량적 대용물에 의존하고 있습니다. 본 연구에서는 운영 리스크 워크플로우의 저지연 제약 조건 하에서 8 가지 Shapley 변형 간의 의미적 차이를 분리하기 위해 통합된 암모티즈드(unified amortized) 프레임워크를 사용합니다. 우리는 4 개 리스크 데이터셋을 대상으로 대규모 실증 평가를 수행했으며, 전문 분석가와 3,735 건의 사례 검토가 포함된 현실적인 사기 탐지 환경을 포함했습니다. 우리의 결과는 근본적인 불일치를 드러냅니다: 희소성(sparsity)과 충실도(faithfulness)와 같은 표준 정량적 지표는 인간이 인지하는 명확성과 의사결정 유용성과 분리되어 있습니다. 또한, 어떤 정의도 분석가의 객관적 성능을 개선하지는 않았지만, 설명은 일관되게 의사결정 신뢰도를 높였으며, 이는 고위험 환경에서 자동화 편향(automation bias) 의 심각한 위험을 신호합니다. 이러한 발견들은 현재의 평가 대용물이 하류의 인간 영향력을 예측하기에 부족함을 시사하며, 운영 의사결정 시스템에서 정의와 지표를 선택하기 위한 증거 기반 지침을 제공합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기