퍼플렉시티 기반의 블랙박스 공격을 위한 확산 언어 모델

원문 발행 2026. 10. 23. 02:00원문 언어 영어AI 한국어 번역arXiv cs.CL 원문 보기

요약

본 논문은 블랙박스 LLM 공격을 위해 연속 잠재 공간 프레임워크를 활용합니다. 기존의 무작위 매핑으로 인한 부자연스러운 프롬프트 문제를 해결하기 위해, 연구진은 연속 확산 언어 모델(dLLM)을 결합하는 방법을 제시했습니다. 이 접근 방식은 자연스러운 프롬프트를 기반으로 위험 추정치를 제공하며, RareTrap 및 ThinkTrap 설정에서 낮은 퍼플렉시티를 확인했습니다.

핵심 포인트

연속 잠재 공간 공격 기법을 블랙박스 LLM에 적용함.
dLLM 결합은 무작위 매핑의 부자연스러움을 제거함.
표준 가우시안 잠재 공간 공식화와 최적화를 유지함.
RareTrap과 ThinkTrap 설정에서 퍼플렉시티가 크게 감소함을 입증.

“ ext{Continuous-space} attacks”는 저차원 가우시안 잠재 공간(Gaussian latent space)에서 샘플링하거나 최적화한 후, 이를 “random mapping”을 통해 텍스트로 디코딩함으로써, 블랙박스 LLM에서 과도한 생각(overthinking)과 같은 악성 행동을 유발하는 프롬프트를 찾아냅니다. 하지만 이 무작위 매핑은 언어로부터 학습되지 않았기 때문에, 생성된 프롬프트가 매우 부자연스러울 수 있으며, 따라서 입력 방어 장치(input guardrails)를 통해 쉽게 탐지될 수 있고, 그 결과로 산출되는 위험 추정치는 자연스러운 프롬프트에 기반을 두고 있지 않습니다. 본 논문에서는 동일한 연속 잠재 공간 프레임워크가 언어에 대한 학습된 생성 분포, 즉 연속 확산 언어 모델(dLLM: continuous diffusion language model)과 직접 결합될 수 있음을 시연합니다. dLLM은 인위적인 무작위 매핑을 제거하는 동시에 표준 가우시안 잠재 공간 공식화와 다운스트림 샘플링 또는 최적화 절차를 유지합니다. 우리는 이 접근 방식을 “RareTrap”을 사용한 샘플링 기반 추정 및 “ThinkTrap”을 사용한 최적화 기반 검색의 두 가지 설정 하에서 평가했습니다. 그 결과, RareTrap에서는 문자 수준 퍼플렉시티(perplexity)가 $10^3$--$10^7$에서 3--5로, ThinkTrap에서는 20--28에서 4.3--5.4로 감소하는 것을 발견했습니다. 또한 모델 위험 추정치가 두 매핑 간에 한 자릿수 차이(order of magnitude)를 보일 수 있음을 확인했습니다.

AI 자동 생성 콘텐츠

원문 바로가기

퍼플렉시티 기반의 블랙박스 공격을 위한 확산 언어 모델

요약

핵심 포인트

댓글