원치 않는 모델의 행동은 학습 과정의 어느 단계에서든 나타나거나 재발할 수 있습니다. 일단 관찰된 후, 우리는 이를 얼마나 효과적으로 억제할 수 있을까요? 이 질문을 연구하기 위해, 특정 정렬되지 않은(misalignment) 행동을 보이도록 의도적으로 훈련된 두 가지 모델 유기체—언어 모델(language models)—를 구축했습니다. 이들은 행동을 유발하는 요인에서 차이를 보입니다. '좁은 트리거 유기체(narrow-trigger organism)'는 프롬프트에 특정 단서가 포함될 때만 오작동합니다. 즉, 다지선다형 문제에서 잘못된 답을 가리키는 심어진 힌트를 따라 부정행위를 하지만, 그 외의 경우에는 정상적으로 행동합니다. 반면, '넓은 트리거 유기체(broad-trigger organism)'는 그러한 단서가 없습니다. 이 유기체는 불안정한 코드에 대해 미세 조정(fine-tuning)된 후, 광범위한 개방형 프롬프트 전반에 걸쳐 유해한 응답을 제공합니다.
이후 우리는 사후적 행동 억제(post-hoc behavioral suppression)를 공식화하고 세 가지 기준에 따라 방법론을 평가했습니다. 즉, 목표 행동의 즉각적인 억제, 추가 학습 하에서의 지속성(durability), 그리고 일반 능력의 보존입니다. 우리는 이러한 차원들을 따라 표준 방법들—SFT (Supervised Fine-Tuning), GRPO (Generalized Reinforcement Policy Optimization?), 그리고 gradient-as-cent unlearning—을 비교했습니다. 정렬의 얕음(alignment shallowness)에 대한 이전 연구를 바탕으로, 우리는 더 지속적인 억제는 더 넓은 범위의 정렬되지 않은 상태로부터 회복하는 능력을 요구한다고 가정합니다.
우리는 PEARL (Prefix-Expanded Adversarial Reinforcement Learning)을 소개했습니다. 이는 GRPO 변형 모델로, 캐시된 유기체 궤적(cached organism trajectories)을 따라 샘플링된 중간 상태들로부터의 연속성(continuations)으로 롤아웃(rollouts)을 증강합니다. 두 가지 유기체 설정과 두 개의 모델 계열(Qwen3-4B, GPT-OSS-20B) 모두에서 PEARL은 작업 정확도를 보존하면서 강력한 즉각적 억제를 달성하며, 유기체의 데이터 또는 무관한 데이터를 이용한 추가 미세 조정 하에서도 지속성을 유지합니다. 특히 원치 않는 행동이 광범위하여 표적화된 SFT로는 다룰 수 없을 때 가장 큰 이점을 얻습니다. 종합적으로 볼 때, 우리의 프레임워크와 방법은 원치 않는 행동을 사후적으로 제거하는 데 있어 더욱 지속 가능한 단계로 나아가는 발걸음을 제공합니다.