PrefixGuard: From LLM-Agent Traces to Online Failure-Warning Monitors

요약

PrefixGuard는 LLM 에이전트의 긴 도구 사용 작업에서 발생하는 온라인 실패를 감지하기 위한 트레이스-모니터 프레임워크입니다. 이 시스템은 오프라인 StepView 유도 단계를 통해 결정론적 타입 스텝 어댑터를 학습하고, 모니터가 이벤트 추상화 및 프록시 리스크 점수자를 학습하여 실시간으로 에이전트의 잠재적 실패를 경고합니다. 실험 결과에 따르면 PrefixGuard는 다양한 벤치마크에서 높은 AUPRC(Area Under the Precision-Recall Curve) 성능을 보여주며, 기존 방법론 대비 상당한 개선을 입증했습니다.

핵심 포인트

• PrefixGuard는 LLM 에이전트의 복잡하고 긴 도구 사용 작업 중 발생하는 온라인 실패를 감지하는 프레임워크입니다.
• 시스템은 오프라인 StepView 유도 단계를 통해 결정론적 타입 스텝 어댑터를 학습하여 모니터링을 수행합니다.
• PrefixGuard는 WebArena, $\tau^2$-Bench 등 여러 벤치마크에서 기존 대비 평균 +0.137 AUPRC의 성능 향상을 달성했습니다.
• 이 프레임워크는 단순한 경고를 넘어 명시적인 진단까지 제공하여 실제 개입(Intervention)으로 전환될 수 있는 실행 가능한 모니터링 레시피를 제시합니다.