Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
CLIP 모델의 백도어 공격이 다양한 다운스트림 인터페이스로 재사용될 때의 노출 정도를 분석하는 DIFE 프레임워크를 제안합니다. 연구 결과, 텍스트 인코더가 백도어의 주요 운반체 역할을 하며, 이를 보완하기 위한 BadTextTower 공격 기법을 소개합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대조적 언어-이미지 사전 학습 (Contrastive Language-Image Pre-training, CLIP) 모델은 특징 추출 (feature extraction), 검색 (retrieval), 재순위화 (reranking), 선택 (selection)을 포함한 다양한 다운스트림 인터페이스에서 널리 재사용됩니다. 그러나 기존의 CLIP 백도어는 대개 작은 공격-네이티브 (attack-native) 태스크에서 공격을 검증하며, 동일한 오염된 체크포인트가 다른 인터페이스를 통해 재사용될 때 노출 상태를 유지하는지, 약화되는지, 혹은 적용 불가능해지는지는 불분명하게 남겨둡니다. 우리는 배포 인터페이스 전반에 걸쳐 백도어가 심어진 CLIP 체크포인트를 감사하는 배포-인터페이스 발자국 평가 (Deployment-Interface Footprint Evaluation, DIFE) 프레임워크를 소개합니다. DIFE는 각 인터페이스의 구성 요소 판독 (component readout), 트리거 채널 (trigger channel), 대상 이벤트 (target event), 참조 조건 (reference condition), 그리고 지표 (metric)를 지정함으로써 다양한 평가를 비교 가능하게 만듭니다. 또한 DIFE는 노출을 유발하는 재사용 가능한 CLIP 구성 요소 또는 구성 요소 조합을 식별하고 위험이 어디로 전이되는지 설명하는 효과적 발자국 진단 (effective-footprint diagnosis)을 도입합니다. DIFE를 통해 재현된 CLIP 백도어를 감사한 결과, 구조화된 양상이 드러났습니다: 네이티브 성공 (native success)은 체크포인트 수준의 위험 인증서가 아니며, 노출은 구성 요소의 발자국 (component footprints)을 따르고, 텍스트 측면의 오염 (text-side poisoning)은 텍스트 인코더 (textual-encoder) 제어로 이어지지 않으며, 일부 결합된 공격은 메커니즘에 종속된 상태로 남아 있습니다. 이 감사는 기존 CLIP 백도어에서 중요한 격차를 발견했습니다: 그 자체로 적대적 동작의 재사용 가능한 운반체가 되는 텍스트 인코더입니다. 따라서 우리는 이 격차를 메우기 위해 BadTextTower를 소개합니다. BadTextTower는 시각 전용 (visual-only) 재사용은 거의 깨끗하게 유지하면서도, 강력한 텍스트 조건부 검색, 재순위화 및 선택 노출을 생성합니다.