PrefixGuard: From LLM-Agent Traces to Online Failure-Warning Monitors

대규모 언어 모델 (LLM) 에이전트는 이제 최종 결과 확인이 개입에 너무 늦게 도착할 수 있는 긴 도구 사용 작업을 실행합니다. 온라인 경고는 이종 트레이스 위에 경량화된 프록시 모니터를 필요로 하지만, 손으로 작성된 이벤트 스키마는 취약하고 배포 시간 LLM 판단은 비용이 많이 듭니다. 우리는 PrefixGuard 를 소개합니다: 오프라인 StepView 유도 단계에 따라的监督监视器 훈련을 포함한 트레이스-모니터 프레임워크입니다. StepView 는 원본 트레이스 샘플에서 결정론적 타입 스텝 어댑터를 유도하고, 모니터는 종단 결과에서 이벤트 추상화와 프록시 리스크 점수자를 학습합니다. WebArena, $τ^2$-Bench, SkillsBench, 그리고 TerminalBench 를 통해, 가장 강력한 PrefixGuard 모니터는 0.900/0.710/0.533/0.557 AUPRC 를 달성합니다. 각 표현에서 가장 강력한 백엔드를 사용하여, 그들은 원본 텍스트 컨트롤에 비해 평균 +0.137 AUPRC 를 개선합니다. LLM 판단자는 동일한 프록시 경고 프로토콜 하에서는 여전히 현저히 더 약합니다. 우리는 또한 점수 기반 정밀도 - 재현율 곡선 (AUPRC) 면적의 관측 가능성 천장을 유도하며, 이는 모니터 오류와 관찰된 프록시에서 증거가 없는 실패를 분리합니다. 유한 상태 감사에 대해, 사후 결정론 유한 자동기 (DFA) 추출은 WebArena 와 $τ^2$-Bench 에서 컴팩트하지만 (29 및 20 개 상태), SkillsBench 와 TerminalBench 에서는 151 과 187 개의 상태로 확장됩니다. 마지막으로, 첫 번째 경고 진단은 강력한 순위가 배포 유틸리티를 의미하지 않는다는 것을 보여줍니다: WebArena 는 잘 순위화되지만 낮은 거짓 경보 알람을 지원하지 못하며, $τ^2$-Bench 와 TerminalBench 는 더 실행 가능한 초기 알람을 유지합니다. 이러한 결과들은 PrefixGuard 를 실행 가능한 프록시 경고가 실행 가능한 개입으로 전환될 때 명시적인 진단이 있는 실제 모니터 합성 레시피로 위치시킵니다.