문법 제약 디코딩 (Grammar-Constrained Decoding)이 LLM을 악성 코드 생성으로 유도하는 탈옥(Jailbreak)

요약

문법 제약 디코딩(GCD)을 악용하여 LLM이 악성 코드를 생성하도록 유도하는 새로운 탈옥 공격 방식인 CodeSpear를 소개합니다. 이에 대응하여 문법 제약 하에서도 안전한 동작을 유지하는 방어 기법인 CodeShield를 제안합니다.

핵심 포인트

• GCD가 코드의 신뢰성을 높이지만 동시에 새로운 공격 표면이 될 수 있음을 발견
• CodeSpear 공격은 기존 탈옥 방식보다 평균 30%p 높은 공격 성공률을 기록
• CodeShield는 허니팟 코드를 통해 문법 제약 하에서도 모델의 안전성을 유지
• 코드 생성 모델의 보안을 위해 문법 제약 기술에 대한 주의가 필요함