시각 언어 모델 (VLM) 을 통한 시각 모달리티를 이용한 제일브레이킹 공격

요약

본 논문은 시각 언어 모델(VLM)의 시각 모달리티를 활용하여 기존의 안전 정렬(Safety Alignment)을 우회하는 네 가지 새로운 '제일브레이킹 공격' 기법을 제시합니다. 이 공격들은 해로운 지시를 시각적 기호로 인코딩하거나, 위험한 물체를 무해한 대체품으로 교체하고, 이미지 내 텍스트를 수정하는 등 다양한 방식으로 이루어집니다. 실험 결과, 이러한 시각 기반 공격은 텍스트 기반 안전 훈련만으로는 포착하기 어려운 취약점을 드러냈으며, VLM의 견고한 정렬을 위해서는 시각적 측면을 필수적으로 고려해야 함을 강조합니다.

핵심 포인트

• VLM의 시각 모달리티는 아직 충분히 탐구되지 않은 공격 표면(Attack Surface)이다.
• 제시된 4가지 공격 기법은 해로운 지시를 시각적 형태로 변환하거나, 물체/텍스트를 대체하여 안전 필터를 우회한다.
• 시각 기반 공격은 텍스트 기반의 안전 정렬만으로는 방어할 수 없는 취약점을 드러낸다 (예: Claude-Haiku-4.5에서 시각 암호가 더 높은 성공률을 보임).
• VLM의 견고한 정렬(Robust Alignment)을 위해서는 시각적 데이터를 1차적인 안전 포스트 트레이닝 대상으로 취급해야 한다.