대규모 오디오-언어 모델(LALM)에서의 오디오 탈옥: 분류 체계, 공격-방어 분석 및 비용 인지 평가
요약
대규모 오디오-언어 모델(LALM)의 탈옥 위험을 체계적으로 분석한 연구입니다. 의미론적, 음향적, 신호적 공격 유형을 분류하고, 10개의 오픈 소스 모델을 대상으로 공격 성공률과 방어 성능을 실증적으로 평가했습니다.
핵심 포인트
- LALM의 탈옥 위험을 4가지 공격 유형으로 분류
- Acoustic Best-of-N을 통한 오디오 공간 취약성 확인
- 현재 방어 체계가 양성 사용성을 희생하는 문제 지적
- 비용 및 유용성을 고려한 새로운 평가 방식의 필요성 제안
대규모 오디오-언어 모델 (Large Audio Language Models, LALMs)은 탈옥 (jailbreak) 위험을 토큰 수준의 프롬프팅 (prompting)에서 음성 인지-추론 (speech perception-to-reasoning) 전체 파이프라인으로 확장시키며, 여기서 의미론 (semantics), 음향 스타일 (acoustic style), 신호 아티팩트 (signal artifacts) 또는 내부 표현 (internal representations)을 통해 안전하지 않은 행동을 유도할 수 있습니다. 기존 연구들은 이 위험들을 이질적인 위협 모델 (threat models)과 평가 프로토콜 (evaluation protocols) 하에서 연구하고 있어, 공격의 실용성이나 방어의 유용성을 비교하기 어렵게 만듭니다. 본 논문은 LALM 탈옥 공격 및 방어에 대한 통합된 분류 체계 (taxonomy)와 통제된 실증적 평가를 제공합니다. 우리는 기존 연구들을 의미론적 (semantic), 음향적 (acoustic), 신호적 (signal) 및 임베딩 계층 (embedding-layer) 공격; 가드 기반 (guard-based), 훈련 불필요 (training-free) 및 훈련 기반 (training-based) 방어; 그리고 교차 모달 (cross-modal), 오디오 네이티브 (audio-native) 및 상호작용형 (interactive) 벤치마크로 정리합니다. 그런 다음 10개의 오픈 소스 LALM을 대상으로 대표적인 공격과 방어를 평가하며, 공격 성공률뿐만 아니라 양성 거부 (benign refusal) 및 지연 시간 (latency)도 측정합니다. 연구 결과에 따르면, Acoustic Best-of-N은 강력한 최악의 경우 오디오 공간 취약성 (worst-case audio-space vulnerabilities)을 드러내며, Narrative Framing은 효과적인 저지연 의미론적 위협이고, 현재의 방어 체계들은 견고성 (robustness)을 위해 양성 사용성 (benign usability)을 희생한다는 것을 보여줍니다. 이러한 발견은 성공률만을 따지는 LALM 안전성 벤치마크를 보완하기 위해 비용 및 유용성을 인지하는 평가 (cost- and utility-aware evaluation)가 필수적임을 뒷받침합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기