분류기 컨텍스트 로트: 성능이 컨텍스트 길이와 함께 저하됨

언어 모델을 사용하여 코딩 에이전트의 위험한 행동을 모니터링하려면 종종 500K 토큰을 초과하는 전사 기록(transcripts)을 분류해야 합니다. 그러나 기존의 에이전트 모니터링 벤치마크는 100K 토큰보다 긴 전사 기록을 거의 포함하지 않습니다. 우리는 현재의 최첨단 모델들이 분류기로 사용될 때, 더 긴 전사 기록에서 위험한 행동을 감지하는 데 실패하는 경향이 있다는 것을 보여줍니다. 특히, 코딩 에이전트가 미묘하게 위험한 행동을 하는 시점을 식별해야 하는 데이터셋에서, Opus 4.6, GPT 5.4, 그리고 Gemini 3.1은 해당 행동이 독립적으로 발생했을 때보다 800K 토큰의 무해한 활동 이후에 발생할 경우 $2 imes$에서 $30 imes$ 더 자주 이 행동들을 놓칩니다. 또한 우리는 이러한 약점들이 전사 기록 전체에 걸쳐 주기적인 알림과 같은 프롬프팅 기법으로 부분적으로 완화될 수 있으며, 더 나은 사후 훈련(post-training)을 통해 추가로 완화될 수 있음을 보여줍니다. 장기 컨텍스트 저하를 고려하지 않는 모니터 평가들은 모니터 성능을 과대평가할 가능성이 높습니다.