저비용 개념 기반 국소적 설명: 훈련이 필요 없는 접근 방식은 어디까지 도달할 수 있는가?

개념 기반 설명 가능한 AI (Concept-based Explainable AI (C-XAI))는 의미론적 개념 (semantic concepts)에 근거하여 인간이 이해할 수 있는 설명을 추구하지만, 세밀한 개념 주석 (concept annotations)의 부족으로 인해 검증에 한계가 있습니다. 본 연구에서는 중간 규모의 멀티모달 거대 언어 모델 (Multimodal Large Language Models (MLLMs))이 객체 (object) 및 부품 (part) 수준 모두에서 경계 상자 (bounding-box) 영역에 레이블을 할당함으로써, 엄격한 제로샷 (zero-shot) 조건 하에서 국소적 개념 명명 (localized concept naming)을 수행할 수 있는지 평가합니다. 우리는 (i) 중간 규모의 어휘를 위한 폐쇄 집합 (closed-set) 및 범주 제한 프롬프팅 (category-constrained prompting), 그리고 (ii) 대규모 레이블 공간을 위한 임베딩 유사도 기반 전략인 Open-CoNa를 포함하는 개념 명명 (Concept Naming (CoNa))을 위한 재현 가능한 제로샷 평가 프로토콜을 제안합니다. 4개의 MLLM (7B-32B)을 이용한 실험 결과, 데이터셋 전반에 걸쳐 일관된 성능 추세를 보였으며, 객체 수준의 완전 일치 정확도 (exact-match accuracy) 62%-88%에 도달하여 국소 영역으로부터 훈련이 필요 없는 개념 주석 (training-free concept annotation)의 잠재력을 입증했습니다. 우리는 한계점과 실패 모드 (failure modes)를 논의하고, 향후 저비용 C-XAI 연구를 지원하기 위해 재현 가능한 프레임워크를 공개합니다.