Zero-Shot 이진 비전-언어 안전 분류에서 프롬프트 유도 점수 분산
요약
본 논문은 제로샷(zero-shot) 비전-언어 모델(VLM)의 안전 분류에서 단일 프롬프트 기반 첫 토큰 확률 점수가 신뢰할 수 없음을 보여줍니다. 의미적으로 동등한 프롬프트를 사용하더라도, 같은 샘플에 대해 크게 다른 '안전하지 않은' 확률을 유도할 수 있습니다. 이러한 크로스-프롬프트 분산(cross-prompt variance)은 모델의 취약성을 진단하는 유용한 지표가 됩니다. 연구진은 훈련 없이 평균화한 임베딩(mean ensemble) 기법이 단일 프롬프트 기반 방식보다 성능을 개선하며, 이를 VLM 안전성 평가를 위한 표준적인 레이블 프리(label-free) 신뢰성 기준으로 제안합니다.
핵심 포인트
- 제로샷 VLM의 안전 분류 점수는 사용된 프롬프트에 매우 민감하여 신뢰성이 낮다.
- 프롬프트 간 분산(cross-prompt variance)은 모델 오류와 불일치 정도를 측정하는 유용한 '취약성 진단 지표'로 활용될 수 있다.
- 훈련 없이 여러 프롬프트의 평균을 내는 '평균 앙상블(mean ensemble)' 기법이 단일 프롬프트 방식보다 성능 향상을 가져온다.
- 제안된 평균화 접근 방식은 레이블링 기반 보정(calibration) 이전에 적용할 수 있는 강력한 레이블 프리 신뢰성 기준을 제공한다.
제로샷(zero-shot) 비전-언어 모델(VLM) 안전 분류기에서 얻은 단일 프롬프트 첫 토큰 확률(first-token probabilities)을 결정 점수(decision scores)로 사용하지만, 우리는 이 점수들이 의미적으로 동등한 프롬프트 재구성(semantically equivalent prompt reformulation) 하에서는 신뢰할 수 없음을 보여줍니다. 심지어 이진 레이블(binary label)이 고정된 출력 위치로 제한되더라도, 동등한 프롬프트들은 동일한 샘플에 대해 실질적으로 다른 안전하지 않은 확률(unsafe probabilities)을 유도할 수 있습니다. 여러 멀티모달 안전 벤치마크와 다양한 VLM 계열 전반에 걸쳐, 크로스-프롬프트 분산(cross-prompt variance)은 프롬프트 수준의 불일치(prompt-level disagreement) 및 더 높은 오류율과 강하게 연관되어 있어 유용한 취약성 진단 지표(fragility diagnostic)가 됩니다. 훈련이 필요 없는 평균 앙상블(training-free mean ensemble)은 모든 14개 데이터셋-모델 평가 쌍에서 NLL(Negative Log-Likelihood)을 개선하고, 12/14에서 ECE(Expected Calibration Error)를 개선하여 훈련 선택된 단일 프롬프트 기준선(train-selected single-prompt baseline) 대비 우위를 점하며, 동일한 프롬프트에 적용된 레이블링 온도 스케일링(labeled temperature scaling), 플랫 스케일링(Platt scaling), 등각 회귀(isotonic regression)보다 더 많은 1:1 NLL 비교에서 승리합니다. 순위 향상(Ranking gains)은 AUROC와 AUPRC 모두에서 훈련 선택된 기준선 대비 일관성을 보이며, 전체 15개 프롬프트 분포 대비로는 AUPRC에서 일관성을 유지하는 반면 AUROC에서는 다소 완만해집니다. 평균값 위에 레이블링을 수행한 경우(Labeled calibration on top of the mean) 라벨이 사용 가능할 때 추가적인 이득을 제공하며, 이를 프롬프트 평균화가 보정(calibration)의 대체재라기보다는 강력한 라벨 프리(label-free) 초기 단계임을 보여줍니다. 우리는 이를 제로샷 VLM 첫 토큰 안전 점수에 대한 신뢰성 스트레스 테스트(reliability stress test)로 규정하고, 표준적인 라벨 프리 신뢰성 기준선으로서 평균 집계가 적용된 프롬프트 패밀리 평가를 권장합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기