Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 연구는 훈련 없이 MLLM을 활용하여 객체 및 부품 수준에서 국소적 개념 명명을 수행하는 제로샷 접근 방식을 제안합니다. 실험 결과, 7B-32B 규모의 모델들이 객체 수준에서 62%-88%의 높은 정확도를 보이며 저비용 C-XAI의 잠재력을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기개념 기반 설명 가능한 AI (Concept-based Explainable AI (C-XAI))는 의미론적 개념 (semantic concepts)에 근거하여 인간이 이해할 수 있는 설명을 추구하지만, 세밀한 개념 주석 (concept annotations)의 부족으로 인해 검증에 한계가 있습니다. 본 연구에서는 중간 규모의 멀티모달 거대 언어 모델 (Multimodal Large Language Models (MLLMs))이 객체 (object) 및 부품 (part) 수준 모두에서 경계 상자 (bounding-box) 영역에 레이블을 할당함으로써, 엄격한 제로샷 (zero-shot) 조건 하에서 국소적 개념 명명 (localized concept naming)을 수행할 수 있는지 평가합니다. 우리는 (i) 중간 규모의 어휘를 위한 폐쇄 집합 (closed-set) 및 범주 제한 프롬프팅 (category-constrained prompting), 그리고 (ii) 대규모 레이블 공간을 위한 임베딩 유사도 기반 전략인 Open-CoNa를 포함하는 개념 명명 (Concept Naming (CoNa))을 위한 재현 가능한 제로샷 평가 프로토콜을 제안합니다. 4개의 MLLM (7B-32B)을 이용한 실험 결과, 데이터셋 전반에 걸쳐 일관된 성능 추세를 보였으며, 객체 수준의 완전 일치 정확도 (exact-match accuracy) 62%-88%에 도달하여 국소 영역으로부터 훈련이 필요 없는 개념 주석 (training-free concept annotation)의 잠재력을 입증했습니다. 우리는 한계점과 실패 모드 (failure modes)를 논의하고, 향후 저비용 C-XAI 연구를 지원하기 위해 재현 가능한 프레임워크를 공개합니다.