Vision 모델 행동에 대한 개념 기반 추론 및 대비적 설명

요약

본 논문은 심층 신경망의 예측을 인간이 이해하기 쉬운 고수준 개념으로 설명하는 '개념 기반 추론 및 대비적 설명' 프레임워크를 제안합니다. 기존 방법들이 직면했던 한계점(인과 연결 부족, 저수준 특징에 국한)을 극복하고, 모델 결과와 인과적으로 관련된 최소한의 고수준 개념 집합을 포착하는 것이 목표입니다. 이 방법을 통해 개별 이미지뿐만 아니라 사용자가 정의한 공통 '행동'을 보이는 이미지 집단에서도 모델 예측에 대한 이해를 제공할 수 있음을 입증했습니다.

핵심 포인트

• 개념 기반 설명(Concept-based explanations)과 형식적 추론/대비적 설명(Formal abductive and contrastive explanations)의 장점을 통합한 새로운 프레임워크를 제안함.
• 모델 예측에 인과적으로 관련된 최소한의 고수준 개념 집합을 포착하는 것이 핵심 목표임.
• 제안된 방법은 '개념 삭제(concept erasure)' 절차를 사용하여 모든 최소 설명을 열거하며 인과 관계를 확립함.
• 이 프레임워크는 개별 이미지뿐만 아니라 사용자가 정의한 공통 행동을 보이는 이미지 집합에서도 모델의 예측 가능성을 설명할 수 있게 함.