Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 블랙박스 비전 모델 해석을 위한 새로운 개념 수준 속성 방법인 Hide and Seek (HnS)를 제안합니다. HnS는 모델 가중치나 레이블링된 데이터셋 접근 없이도 광범위한 비전 모델의 속성을 계산할 수 있습니다. 이는 이미지 검색, 위치 파악, 마스킹을 통해 블랙박스 출력 변화를 측정하여 지역적 속성까지 지원하는 것이 특징입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기머신러닝 모델 예측을 해석하는 것은 특히 블랙박스 비전 모델의 경우 중심적인 과제입니다. 개념 기반 속성(Concept-based attribution) 방법은 인간이 이해할 수 있는 개념을 사용하여 모델을 해석합니다. 기존의 개념 기반 방법들은 분류 및 회귀 모델만 해석할 수 있습니다. 이들은 모델 가중치에 대한 접근 또는 대규모 개념 주석 데이터셋을 필요로 하며, 대부분의 방법은 이미지 수준의 속성을 제공할 수 없습니다. 우리는 모델 가중치나 레이블링된 개념 데이터셋에 대한 접근이 필요하지 않은 새로운 개념 수준 속성 방법인 Hide and Seek (HnS)를 제안합니다. HnS는 광범위한 비전 모델을 해석할 수 있습니다. 주어진 개념과 이미지 세트를 사용하여, HnS는 비전-언어 모델(vision-language model)을 통해 개념에 맞는 이미지를 검색하고, 각 이미지 내에서 해당 개념의 위치를 파악하며, 국소화된 영역을 마스킹한 후, 원본 이미지와 마스킹된 이미지 사이의 블랙박스 모델 출력 변화를 측정하여 속성을 계산합니다. 이는 모델의 동작을 직접 측정함으로써 충실한 속성화를 가능하게 하고 지역적 속성(local attributions)을 지원합니다. 우리는 CelebA 및 COCO-Stuff에서 HnS를 검증했습니다. 기존 방법들과 비교했을 때, HnS는 정답 속성(ground-truth attributions)과 더 나은 일치도를 보였습니다. 또한, 기존 개념 속성 방법이 사용될 수 없었던 이미지 캡셔닝 및 위성 이미지 분할을 포함한 다양한 작업에 HnS의 적용 가능성을 입증했습니다. 우리는 익명 코드를 보충 자료에 제공했습니다.