거버넌스 붕괴: 컨텍스트 압축이 장기적 LLM 에이전트의 안전 제약 조건을 어떻게 조용히 삭제하는가

현대의 LLM 에이전트들은 장기 실행 세션을 토큰 예산 내로 유지하기 위해 컨텍스트 압축 (Context Compaction), 요약 (Summarization), 또는 제거 (Eviction)에 점점 더 많이 의존하고 있습니다. 우리는 이러한 컨텍스트 관리 계층이 안전에 치명적인 실패 표면 (Failure Surface)임을 보여줍니다. 즉, 에이전트가 컨텍스트 내에 가시적으로 존재할 때는 안정적으로 준수하던 거버넌스 제약 조건 (Governance Constraints)이 압축 과정에서 조용히 제거될 수 있으며, 이로 인해 동일한 에이전트가 세션 후반부에 금지된 도구 작업 (Tool Actions)을 수행하게 됩니다. 우리는 이러한 실패 모드를 거버넌스 붕괴 (Governance Decay)라고 부릅니다. 우리는 결정론적인 도구 호출 채점 (Deterministic Tool-call Grading)을 포함하는 장기적 에이전트 시나리오 벤치마크인 ConstraintRot을 도입하고, 7개의 모델 제품군에 걸쳐 압축으로 인한 위반 사례를 측정합니다. 1,323개의 에피소드 전반에 걸쳐, 정책이 전체 컨텍스트에 있을 때는 위반율이 0%였으나 압축 후에는 30%로 상승하며, 일부 모델의 경우 59%에 달했습니다. 제약 조건이 요약 과정에서 살아남으면 위반율은 0%로 유지되지만, 제약 조건이 누락되면 위반율은 38%에 이릅니다. 우리는 더 나아가 적대적인 인컨텍스트 콘텐츠가 요약기를 편향시켜 정당한 정책을 누락하도록 유도하는 압축-제거 공격 (Compaction-Eviction Attack)을 연구하며, 최적화된 주입 (Injections)이 평가된 모든 모델을 무력화함을 보여줍니다. 마지막으로, 우리는 손실이 발생하는 압축으로부터 거버넌스 제약 조건을 격리하여 벤치마크 내 위반율을 0%로 복구하는 간단한 훈련 불필요 완화 방법인 제약 조건 고정 (Constraint Pinning)을 제안합니다. 이러한 결과는 컨텍스트 관리가 배포된 LLM 에이전트를 위한 일급 거버넌스 표면 (First-class Governance Surface)임을 식별합니다.