LLM 의 Junking(폐기) 문제의 난이도에 대한 연구

대규모 언어 모델 (Large Language Models, LLMs) 은 정교하게 설계된 명시적 의미 구조를 포함하는 프롬프트를 기반으로 하는 제일브레이크 공격 (jailbreak attacks) 에 취약하다는 것으로 알려져 있습니다. 이러한 공격은 일반적으로 적대적 지시사항을 고정하고 작은 적대적 구성 요소 (예: 접미사 또는 접두사) 를 최적화함으로써 작동합니다. 이 설정에서 프롬프트 구조는 성능에 필수적이며, 최근 연구 결과에 따르면 단순한 랜덤 서치와 함께 정교한 프롬프트 설계가 강력한 성능을 달성할 수 있음을 보여줍니다. 최근에는 적대적 프롬프트 없이도 최적화된 토큰 시퀀스에만 의존하여 해로운 행동을 유도할 수 있음이 관찰되었습니다. 이는 의미 있는 지시사항 없이도 안전하지 않은 출력을 유발하는 자연스러운 백도어 (natural backdoors) 가 존재함을 시사합니다. 즉, LLMs 훈련 과정에서 자연스럽게 발생하며 의미 없는 지시사항 없이도 불안전한 출력을 유발하는 토큰 시퀀스입니다. 그러나 이러한 관찰에도 불구하고 이 설정은 여전히 거의 탐구되지 않았으며, 특히 자연스러운 백도어를 찾는 난이도는 아직 평가되지 않았습니다. 본 연구에서는 이를 'junking 문제'라고 부르는 이 작업의 난이도를 조사하는 첫 번째 프로토타입 연구를 제공합니다. 우리는 해로운 응답의 목표 접미사를 생성할 확률을 최대화하는 토큰 시퀀스를 찾는 문제로 형식화하고, 이러한 시퀀스가 쉽게 발견될 수 있는지 평가하기 위한 그리디 랜덤 서치 (greedy random-search) 방법을 제안합니다. 우리의 결과는 이 문제가 표준 제일브레이크 공격보다 더 어렵다는 것을 보여주어 프롬프트 설계에서 의미 정보의 중요성을 확인했습니다. 동시에, 우리는 간단한 전략이 높은 성공률로 이를 해결하기에 충분함을 발견하여 자연스러운 백도어가 존재하며 쉽게 복원 가능함을 시사합니다. 마지막으로, 퍼플렉시티 (perplexity) 분석을 통해 발견된 토큰 시퀀스가 모델 분포의 저확률 영역에 있음을 관찰하여 훈련 과정에서 암묵적으로 발생했음을 지지하는 가설을 확인했습니다.