Vision 모델 행동에 대한 개념 기반 추론 및 대비적 설명

개념 기반 설명 (Concept-based explanations) 은 심층 신경망의 예측을 인간이 이해할 수 있는 고수준 개념으로 설명하는 데 유망한 접근법을 제공합니다. 그러나 기존 방법들은 개념과 모델 예측 간의 인과 연결을 확립하지 않거나, 표현력이 제한되어 단일 개념만 포함하는 인과적 설명만 추론할 수 있습니다. 동시에 형식적 추론 및 대비적 설명 (formal abductive and contrastive explanations) 에 대한 병행된 연구는 모델 결과에 인과적으로 관련 있는 최소한의 입력 특징을 계산하지만, 픽셀과 같은 저수준 특징만 고려합니다. 이 두 가지 접근법을 통합하여, 본 작업에서는 모델 결과에 인과적으로 관련 있는 고수준 개념의 최소 집합을 포착하는 개념 기반 추론 및 대비적 설명 (concept-based abductive and contrastive explanations) 의 개념을 제안합니다. 우리는 이제 모든 최소 설명을 열거하면서 개념 삭제 (concept erasure) 절차를 사용하여 인과 관계를 확립하는 알고리즘 가족을 제시합니다. 이러한 설명을 적절히 집계함으로써, 우리는 개별 이미지뿐만 아니라 사용자가 지정된 공통 행동 (behavior) 을 모델이 보이는 이미지 집합에서도 모델 예측을 이해할 수 있습니다. 우리는 다양한 모델, 데이터셋 및 행동에 대해 본 방법을 평가하고, 유용하고 사용자 친화적인 설명을 계산하는 데 효과적임을 입증합니다.