분류기 컨텍스트 로트: 성능이 컨텍스트 길이와 함께 저하됨

요약

본 기사는 언어 모델 기반 코딩 에이전트의 위험 행동 모니터링 시, 긴 전사 기록(500K 토큰 초과)에서 분류기 성능이 저하되는 문제를 지적합니다. Opus 4.6, GPT 5.4, Gemini 3.1 같은 최첨단 모델들은 특히 무해한 활동 이후에 발생하는 미묘하게 위험한 행동을 감지하는 데 어려움을 겪습니다. 이러한 장기 컨텍스트 저하를 고려하지 않는 모니터 평가는 실제 성능을 과대평가할 수 있습니다.

핵심 포인트

• 언어 모델 분류기는 긴 전사 기록(500K 토큰 이상)에서 위험 행동 감지 성능이 떨어지는 경향을 보입니다.
• Opus 4.6, GPT 5.4, Gemini 3.1 등 최신 모델들은 장기 컨텍스트 이후의 미묘한 위험 행동 식별에 어려움을 겪습니다.
• 주기적인 알림(prompting) 기법이나 사후 훈련(post-training)을 통해 이러한 장기 컨텍스트 저하 문제를 부분적으로 완화할 수 있습니다.
• 장기 컨텍스트 성능 저하를 고려하지 않은 모니터 평가는 모델의 실제 성능을 과대평가할 위험이 있습니다.