대비형 프로토타입 구조를 이용한 대규모 언어 모델의 탈옥 탐지
요약
본 연구는 추가적인 다운스트림 분류기 없이 대비 학습된 표현을 활용하여 LLM의 탈옥(Jailbreak)을 탐지하는 'JDPI'를 제안합니다. JDPI는 바이너리 안전 레이블과 프로토타입 거리를 이용하며, 기존 기준선보다 높은 정확도와 크로스-데이터셋 강건성을 입증했습니다.
핵심 포인트
- 추가 다운스트림 분류기 없이 대비 학습 표현으로 탈옥 탐지 가능함을 제시함.
- 대비형 파인튜닝은 네 가지 벤치마크 전반에 걸쳐 탐지 정확도를 향상시킴.
- 공개된 Llama Guard 3-8B 기준선보다 ROC-AUC가 높게 나타남 (0.173~0.310).
- 다중 턴 대화에서 누적 사용자 기록을 활용하여 높은 대화 수준 정확도를 달성함.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기