Contrastive Semantic Projection: Contrastive Examples 를 활용한 충실한 뉴런 라벨링

요약

본 논문은 딥러닝 네트워크 내부 단위(뉴런)에 충실한 텍스트 설명을 할당하는 '뉴런 라벨링' 기법을 개선합니다. 기존 방식이 높은 활성화 예시에 의존하여 광범위하거나 부정확한 라벨을 생성하는 문제를 해결하기 위해, 대조적 예시(contrastive examples)를 활용하는 방법을 제안합니다. 연구진은 VLM과 CLIP 기반의 Contrastive Semantic Projection (CSP)이라는 두 단계 접근 방식을 통해 뉴런 수준에서 충실도와 의미적 세분화를 모두 개선했음을 입증했습니다.

핵심 포인트

• 뉴런 라벨링은 딥러닝 내부 단위에 텍스트 설명을 할당하는 과정이다.
• 기존 방식의 문제는 높은 활성화 예시에 의존하여 부정확하거나 광범위한 라벨을 생성한다는 점이다.
• 제안된 방법론은 VLM을 활용해 후보 라벨을 생성하고, CLIP 기반 CSP를 통해 대조적 예시를 통합하여 뉴런 수준에서 라벨링을 수행한다.
• 대조적 라벨링은 충실도(faithfulness)와 의미적 세분화(semantic granularity)를 모두 개선하는 강력한 방법론이다.