Contrastive Semantic Projection: Contrastive Examples 를 활용한 충실한 뉴런 라벨링

뉴런 라벨링 (Neuron labeling) 은 딥러닝 네트워크의 내부 단위 (internal units) 에 텍스트 설명을 할당하는 작업입니다. 기존 접근법은 일반적으로 높은 활성화 (highly activating) 를 보이는 예시들을 의존하여, 우세하지만 우연적인 시각적 요인들에 초점을 맞추어 광범위하거나 오도될 수 있는 라벨을 생성하는 경우가 많습니다. FALCON 과 같은 이전 연구는 설명을 선명하게 하기 위해 활성화되는 예시와 семantically 유사하지만 낮은 활성화를 유발하는 대조적 예시 (contrastive examples) 를 도입했으나, 이는 주로 서브스페이스 수준의 해석가능성을 다루며 확장 가능한 뉴런 수준의 라벨링에는 주력하지 않았습니다. 우리는 뉴런 수준의 라벨링을 위한 대조적 설명을 두 단계로 재검토합니다: (1) 비전 언어 모델 (VLMs) 을 활용한 후보 라벨 생성 및 (2) CLIP 기반 인코더를 활용한 라벨 할당.

첫째, 우리는 VLM 에 대조적 이미지 세트를 제공하는 것이 더 구체적이고 충실한 (faithful) 후보 라벨을 생성함을 보여줍니다. 둘째, SemanticLens 의 확장인 Contrastive Semantic Projection (CSP) 을 소개합니다. CSP 는 CLIP 기반의 점수화 및 선택 파이프라인에 대조적 예시를 직접 통합합니다. 광범위한 실험과 흑색종 검출 (melanoma detection) 에 대한 사례 연구를 통해, 대조적 라벨링은 최첨단 베이스라인 대비 충실도와 의미적 세분화 (semantic granularity) 를 모두 개선합니다. 우리의 결과는 대조적 예시가 뉴런 라벨링 및 분석 파이프라인의 단순하면서도 강력하고 현재까지 활용도가 낮은 구성 요소임을 보여줍니다.