미끼 이미지가 인코딩된 탈옥 공격에 대한 캡션 매개 방어 효과를 증폭시킨다
요약
시각-언어 모델(VLM)에 인코딩된 탈옥 공격을 시도할 때, 관련 없는 미끼 이미지를 함께 입력하면 방어 효과가 크게 증폭됨을 발견했습니다. 실험 결과, 미끼 이미지는 캡션 매개 방어 기제의 공격 성공률(ASR)을 최대 73%까지 낮추는 효과를 보였습니다.
핵심 포인트
- 미끼 이미지가 VLM의 캡션 매개 방어 효과를 증폭시킴
- 공격 성공률(ASR)을 최대 73pp까지 감소시키는 효과 확인
- 이미지 콘텐츠보다는 이미지의 존재 자체가 방어에 영향
- 경량화된 인코딩 입력 탐지기를 통해 정상 거부율 제어 가능
- 적응형 공격 환경에서도 일정 수준의 방어 효과 유지
우리는 시각-언어 모델 (Vision-Language Models, VLMs)에 대한 이미지 입력과 기존 블랙박스 방어 기제 사이의 직관에 반하는 상호작용을 보고합니다. 인코딩된 탈옥 (jailbreak) 프롬프트를 관련 없는 미끼 이미지 (decoy image)와 결합하면 공격 성공률 (Attack Success Rate, ASR)을 급격히 낮출 수 있습니다. 여기서 핵심적인 변화는 이미지가 아니라 방어 파이프라인 (defense pipeline)에서 일어납니다. 5개의 최첨단 VLMs, 2개의 인코딩된 공격 계열, 그리고 3개의 블랙박스 방어 기제를 대상으로 실험한 결과, 텍스트 전용 인코딩 입력에서는 ASR을 거의 변화시키지 않던 캡션 매개 방어 (caption-mediated defense, ECSO)가 내용이 없는 미끼 이미지가 첨부되면 ASR을 최대 73pp까지 떨어뜨렸습니다. 모든 비포화 대조군은 정확한 McNemar 테스트 하에서 유의미했습니다. 우리는 블랙박스 위협 모델 (black-box threat model) 특성상 벤더의 내부 구조를 조사할 수 없으므로, 파이프라인 내부 조사 대신 간접적인 증거를 바탕으로 이 패턴에 대한 두 가지 가설을 제시합니다. 첫째, 캡션 매개 방어는 이미지의 존재 여부에 따라 분기하며, 둘째, 이미지 측면의 내재적 안전성은 이미지에 상주하는 콘텐츠에 의해 작동한다는 것입니다. 세 가지 대조군이 이 설명을 뒷받침합니다. 빈 캔버스 및 자연 사진 미끼는 모든 모델에서 동일한 효과를 재현하여, 콘텐츠보다는 이미지의 존재 자체가 영향을 미침을 시사합니다. 또한, 중재 레이어 (moderation layer) 없이 서비스되는 3개의 오픈 웨이트 (open-weight) VLMs에서도 효과가 재현되므로, 이는 벤더 필터링에 의한 인위적인 결과가 아닙니다. 마지막으로, 비기호적이고 의미 기반인 인코더에서도 효과가 재현되므로, 이는 기호적 난독화 (symbolic obfuscation)에 특화된 현상이 아닙니다. 미끼를 무조건적으로 첨부하는 것은 배포가 불가능합니다. 이는 정상적인 거부율 (benign refusal)을 20~79%로 높이며, 이는 +10에서 +67pp의 상승을 의미하기 때문입니다. 그러나 경량화된 인코딩 입력 탐지기 (encoded-input detector)를 통해 미끼 첨부를 제어하면, 탐지기가 작동하는 곳에서 안전성 이득을 유지하면서도 정상적인 거부율을 텍스트 기준치로 되돌릴 수 있으며, 따라서 탐지기의 재현율 (recall)이 핵심적인 제약 요인이 됩니다. 캡션 매개 재검사를 목표로 하는 적응형 공격 (adaptive attacks) 하에서는 효과가 저하되지만 유지됩니다. 우리는 이를 견고한 방어책이라기보다 파이프라인 상호작용에 대한 관찰 결과로 규정합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기