Heads of Security: 학습된 어텐션 게이트가 프롬프트 주입 강건성 향상

요약

본 기사는 학습된 어텐션 게이트를 활용하여 명령어와 데이터를 분리하는 새로운 프롬프트 주입 방어 기법인 Heads of Security(HoS)를 소개합니다. HoS는 모델이 주입 명령어를 따르지 않으면서도 신뢰할 수 있는 콘텐츠에 대해 추론하도록 학습되어, 기존 대비 높은 강건성을 입증했습니다.

핵심 포인트

• HoS는 학습된 어텐션 게이트를 통해 명령어와 데이터를 효과적으로 분리합니다.
• 적응형 공격(RL-Hammer)에 대해 10%의 낮은 ASR을 기록하며 높은 강건성을 보입니다.
• 최첨단 화이트박스 공격도 막아내기 위해 기존 대비 3배 많은 FLOPs가 필요합니다.
• 보안 강화와 기본 모델의 유틸리티 유지라는 두 마리 토끼를 잡았습니다.