은유가 Attention의 전부가 아니다

요약

본 연구는 대규모 언어 모델(LLM)의 안전성 우회 기법인 '문학적 탈옥(literary jailbreaks)'이 성공하는 원인을 분석했습니다. 기존의 사후 학습(post-training)된 안전 메커니즘은 시적인 변환이나 문체적 재구성을 통해 쉽게 우회될 수 있습니다. 연구진은 어텐션 패턴 해석 가능성 분석과 입력 수준 절제 연구를 수행하여, 탈옥 성공이 모델이 시적 형식을 인식하지 못해서가 아니라, 유해 콘텐츠 탐지 메커니즘과 독립적인 별개의 처리 패턴을 유도하기 때문임을 밝혀냈습니다. 따라서 LLM의 견고성을 확보하려면 스타일 변화에 따른 행동 변화까지 고려하는 안전 메커니즘 설계가 필요합니다.

핵심 포인트

• 문학적 탈옥(literary jailbreaks)은 시적 변환이나 문체적 재구성을 통해 LLM의 안전 메커니즘을 우회할 수 있다.
• 탈옥 성공은 모델이 시적 형식을 인식하지 못해서 발생하는 것이 아니며, 유해 콘텐츠 탐지와 독립적인 별개의 처리 패턴을 유도하기 때문이다.
• LLM의 견고성 확보를 위해서는 단순히 내용뿐만 아니라 프롬프트 처리를 변경하는 스타일 변화(style-induced shifts)까지 고려해야 한다.
• 연구는 어텐션 맵 해석 가능성 분석과 입력 수준 절제 연구 등의 방법론을 활용하여 이 문제를 다루었다.