훈련이 필요 없는 개념 국지화(Concept Localization)를 통한 타이포그래피 공격(Typographic Attack)에 대한

요약

CLIP 기반 시각-언어 모델(LVLM)이 이미지 내 텍스트에 의해 시각적 의미 대신 어휘적 의미에 편향되는 '타이포그래피 공격(TA)' 문제를 분석합니다. 별도의 훈련 없이 기계론적 해석 가능성을 통해 공격의 근원을 식별하고, 어텐션 가중치 조정을 통해 모델의 강건성을 높이는 방법을 제안합니다.

핵심 포인트

• CLIP 모델이 이미지 내 텍스트에 의해 시각적 의미를 놓치는 취약점 발견
• 훈련이 필요 없는 기계론적 해석 가능성 방법론 제안
• 회로 마이닝을 통해 어휘 정보를 편향되게 인코딩하는 ViT 구성 요소 식별
• 어텐션 가중치 조정을 통해 추가 학습 없이 타이포그래피 공격 방어 가능