정답지(Ground-Truth) 없이 정량화 가능한 시각적 설명 학습하기

설명 가능한 인공지능 (Explainable AI (XAI)) 기술은 현대 딥러닝 (deep learning) 모델의 검증과 책임 있는 사용을 위해 점점 더 중요해지고 있지만, 비교할 수 있는 양질의 정답지 (ground-truth)가 부족하여 평가하기가 어렵습니다. 우리는 연속적인 입력 섭동 (continuous input perturbation)에 기반하여 XAI 방법론의 품질을 정량화할 수 있는 지표 역할을 하는 프레임워크를 제안합니다. 우리의 지표는 모델의 의사 결정에 기여한 정보의 충분성 (sufficiency)과 필요성 (necessity)을 공식적으로 고려하며, 기존 지표들보다 설명 품질에 대한 인간의 직관과 더 잘 일치하는 다양한 사례들을 보여줍니다. 이 지표의 특성을 활용하기 위해, 우리는 또한 새로운 XAI 방법을 제안하며, 이 지표의 미분 가능한 근사치 (differentiable approximation)를 감독 신호 (supervision signal)로 사용하여 모델을 미세 조정 (fine-tune)하는 사례를 고려합니다. 그 결과, 모델의 성능을 저하시키지 않으면서도 어떤 블랙박스 (black-box) 모델 위에서도 학습되어 모델의 의사 결정 과정에 대한 인과적 설명 (causal explanations)을 출력할 수 있는 어댑터 (adapter) 모듈을 얻을 수 있습니다. 우리는 이 방법으로 생성된 설명이 여러 정량적 지표에 따라 경쟁 XAI 기술들보다 우수한 성능을 보임을 입증합니다.