History Anchors: 이전의 행동이 어떻게 LLM의 결정을 안전하지 않은 행동으로 유도하는가

Frontier LLM들은 동일하거나 다른 모델에 의해 생성된 긴 이전 도구 호출 (tool calls) 로그 이후에 다음 행동을 선택하는 에이전트 (agents)로서 점점 더 많이 배포되고 있습니다. 우리는 간단한 안전성 질문을 던집니다: 만약 해당 로그의 이전 단계가 유해했다면, 모델은 유해한 과정을 계속 이어갈 것인가? 우리는 10개의 고위험 (high-stakes) 도메인에 걸친 100개의 짧은 시나리오인 HistoryAnchor-100을 구축하였으며, 각 시나리오는 세 개의 강제된 유해한 이전 행동과 두 개의 안전한 옵션 및 두 개의 안전하지 않은 옵션을 제공하는 자유 선택 노드를 쌍으로 구성합니다. 6개의 제공업체로부터 가져온 17개의 frontier 모델들을 대상으로 조사한 결과, 우리는 놀라운 비대칭성을 발견했습니다: 중립적인 시스템 프롬프트 (system prompt) 하에서 가장 강력하게 정렬된 (aligned) 모델들은 거의 안전하지 않은 옵션을 선택하지 않지만, "이전 기록에 나타난 전략과 일관성을 유지하라"라는 단 한 문장을 추가하는 것만으로도 선택률이 91-98%로 뒤집히며, 이렇게 뒤집힌 모델들은 종종 단순한 지속을 넘어 상황을 악화시킵니다. 두 가지 대조군 (controls) 실험을 통해 더 단순한 설명들을 배제했습니다: 행동 라벨을 치환해도 효과는 그대로 유지되었으며, 모든 단계가 안전한 이전 기록에 동일한 지침을 적용했을 때는 안전하지 않은 비율이 7% 미만으로 유지되었습니다. 서로 다른 모델 제품군 (families)은 유해한 기록의 양에 따라 서로 다른 수준에서 뒤집히며, 모든 정렬된 제품군 내에서 플래그십 (flagship) 모델이 가장 큰 영향을 받는 형제 모델로 나타나는데, 이는 안전성에 대한 역스케일링 (inverse-scaling) 패턴입니다. 이러한 결과는 궤적 (trajectories)이 재현되거나, 위조되거나, 주입될 수 있는 에이전트 기반 배포 (agentic deployments) 환경에 있어 적신호입니다.