얕은 안전성을 넘어선 추론 시점의 취약성: 생성 경로(Generation Trajectories)를 따른 정렬

안전 정렬된 대규모 언어 모델 (LLMs)은 생성 과정을 유해한 출력으로 유도하는 추론 시점의 개입에 여전히 취약합니다. 최근 연구들은 이를 정렬이 초기 몇 개의 출력 토큰에만 집중되는 '얕은 안전성 (shallow safety)' 때문이라고 분석합니다. 본 연구에서는 얕은 안전성이 더 넓은 의미의 '추론 시점 취약성 (inference-time vulnerability)'의 특수한 사례임을 보여줍니다. 즉, 생성 단계 중 어느 지점에서든 짧은 토큰 주입 (token injections)이 발생하면 이후의 안전 행동을 실질적으로 변화시킬 수 있습니다. 또한, 모델의 은닉 상태 (hidden states) 내 거절 방향 (refusal directions)에 대한 정렬 정도가 이러한 주입에 대한 강건성 (robustness)을 예측하지 못한다는 점을 발견하였으며, 이는 내부 상태만으로는 섭동 (perturbation) 하에서의 생성 행동을 결정할 수 없음을 드러냅니다. 이를 해결하기 위해, 우리는 시퀀스 중간의 섭동을 시뮬레이션하여 구축된 생성 경로 (generation trajectories) 상에서 모델을 직접 정렬하며, 이것이 시퀀스 중간 주입에 대한 강건성을 향상시키고 초기 토큰 생성을 악용하는 공격에도 일반화됨을 보여줍니다. 우리의 연구는 강건한 안전 정렬을 위해서는 출력물뿐만 아니라 생성 과정 자체에 대한 학습이 필요함을 주장합니다.