순차적 엔트로피 변화를 통한 유창한 최적화 기반 적대적 프롬프트 탐지

요약

본 연구는 유창함을 유지하며 LLM을 탈옥하는 최적화 기반 적대적 접미사를 탐지하기 위해 토큰 수준의 엔트로피 변화를 추적하는 CPD Online(CPD) 기법을 제안합니다. CPD는 별도의 학습 없이 온라인으로 실행되며, 기존 퍼플렉시티 기반 탐지기보다 높은 정확도로 적대적 공격의 시작 지점을 국소화할 수 있습니다. 또한 LLaMA Guard의 경량 게이트로 활용 시 탐지 품질을 유지하면서도 가드 호출 횟수를 17-22% 절감하는 효율성을 보여주었습니다.

핵심 포인트

• 적대적 접미사 탐지를 토큰 수준의 다음 토큰 엔트로피 스트림에 대한 온라인 변화점 탐지(CPD) 문제로 정의함
• 모델 불가지론적(model-agnostic)이며 별도의 학습이 필요 없는(training-free) 방식임
• 기존 윈도우 기반 퍼플렉시티 탐지기보다 높은 F1 점수와 정밀한 공격 지점 국소화 성능을 제공함
• LLaMA Guard와 결합하여 가드 호출 비용을 17-22% 감소시키는 경량 게이트 역할 수행 가능