개념 기반 설명 가능성에서의 Zero-Shot 이미지 생성 평가를 위한 프레임워크

개념 기반 설명 가능한 인공지능 (Concept-based Explainable Artificial Intelligence (XAI))은 내부 표현 (internal representations)을 클래스 예측 (class predictions)과 연결함으로써, 저수준 (low-level) 이미지 데이터와 고수준 (high-level) 의미론 (semantics) 사이의 간극을 메우고 인간이 이해할 수 있는 시각적 특징 (예: 질감 또는 객체 부위)을 사용하여 딥러닝 모델을 해석합니다. 그러나 주요 과제는 각 개념을 나타내기 위해 라벨링된 이미지의 대규모 세트에 의존해야 한다는 점이며, 이는 확장성 (scalability)을 제한합니다. 본 연구에서는 개념 기반 XAI 방법론을 위한 합성 개념 데이터셋 (synthetic concept datasets)의 소스로서 Zero-shot 텍스트-이미지 (Text-to-Image (T2I)) 생성 모델의 활용을 조사합니다. 구체적으로, 우리는 미리 정의된 프롬프트 (prompts)를 사용하여 개념을 생성하고, 다음의 네 가지 상호 보완적인 분석을 통해 실제 개념에 대한 충실도 (faithfulness)를 평가합니다: (1) 개념 표현 유사도 (concept representation similarity)를 통해 합성 개념 이미지와 실제 개념 이미지를 비교합니다; (2) 동일한 개념의 하위 집합 쌍을 점진적으로 증가하는 크기로 비교하여 내부 유사도 (intra-similarity)를 평가합니다; (3) 관련 클래스 이미지를 사용하여 다운스트림 설명 작업 (downstream explanation tasks)에 대한 성능을 평가합니다; (4) 테스트된 클래스 이미지에서 특정 개념을 제거하는 것이 생성된 개념의 설명에 어떤 영향을 미치는지 평가합니다. 현재의 T2I 생성 모델은 개념 기반 XAI로 가는 지름길을 약속하지만, 본 연구는 모델 분석에서 Zero-shot 파이프라인에 의해 생성된 합성 데이터 (synthetic data)를 사용하는 것에 대한 과제와 미결 과제들을 강조합니다. 결과물인 데이터셋은 https://github.com/DataSciencePolimi/ZeroShot-T2I-Concepts 에서 확인할 수 있습니다.