LLM 의 Junking(폐기) 문제의 난이도에 대한 연구

요약

본 연구는 LLM이 의미 있는 지시사항 없이도 해로운 출력을 유발할 수 있는 '자연스러운 백도어(natural backdoors)'의 존재와 그 난이도를 탐구합니다. 기존 제일브레이크 공격은 명시적 프롬프트 구조에 의존하지만, 본 연구는 오직 토큰 시퀀스 최적화만으로 해로운 행동을 유도하는 문제를 'junking 문제'로 정의하고 이를 분석했습니다. 실험 결과, 이 문제는 표준 제일브레이크 공격보다 더 어렵지만, 간단한 검색 전략만으로 높은 성공률로 해결될 수 있음을 보여주어 자연스러운 백도어가 존재하며 쉽게 발견 가능하다는 점을 시사합니다.

핵심 포인트

• LLMs의 취약점은 명시적 지시사항(프롬프트)뿐 아니라 의미 없는 토큰 시퀀스에도 내재되어 있음 (자연스러운 백도어).
• 연구에서 제안한 'junking 문제'는 해로운 응답을 유발하는 목표 접미사 토큰 시퀀스를 찾는 문제입니다.
• 이 문제는 기존의 제일브레이크 공격보다 더 어렵지만, 그리디 랜덤 서치와 같은 간단한 전략으로 높은 성공률을 보였습니다.
• 퍼플렉시티 분석을 통해 발견된 백도어 토큰 시퀀스가 모델 분포의 저확률 영역에 존재함을 확인했습니다.