에이전트 실패 예측에서 작업 난이도와 실행 단계별 실패를 분리하기

요약

본 연구는 LLM 에이전트의 실패 예측 성능에 대한 기존 접근 방식의 한계를 지적합니다. 높은 AUROC 값은 실제로는 작업 자체의 난이도 인식에서 기인하는 경우가 많으며, 이는 자원 할당 결정에 유용합니다. 따라서 성공적인 개입을 위해서는 실행 단계별(run-level) 예측과 작업 수준의 난이도를 명확히 분리하여 평가해야 함을 제안합니다.

핵심 포인트

• 높은 실패 예측 성능은 종종 작업 간 비교에서 비롯됨.
• 작업 난이도 인식은 자원 할당 결정에 도움을 줌.
• 실행 단계별 예측은 진행 중인 궤적 개입 여부 판단에 필수적임.
• 평가는 단순히 결과 정확도가 아닌, 의도된 배포 결정을 지원하는지 기준으로 해야 함.