DiagEval: GUI 에이전트를 활용한 신뢰할 수 있는 소프트웨어 평가를 위한 궤적 조건부 진단

요약

DiagEval은 GUI 에이전트가 소프트웨어를 조작할 때 발생하는 실패가 소프트웨어의 결함인지 아니면 평가기의 실행 오류인지를 구분하기 위한 궤적 조건부 진단 프로토콜입니다. 실패한 실행 궤적을 재사용하여 타겟팅된 진단 프로브를 선택함으로써, 단순 재시도 방식보다 높은 정확도로 실패 원인을 분석하고 평가 성능을 개선합니다.

핵심 포인트

• GUI 에이전트 평가 시 단일 실행 궤적만으로는 소프트웨어 결함과 평가기 오류를 구분하기 어렵다는 문제를 해결함
• 실패한 궤적을 활용해 진단 프로브를 선택하고 내부 귀인 신호를 집계하는 DiagEval 프로토콜 제안
• WebDevJudge-Unit 및 RealDevBench 평가 결과, 위음성 사례의 상당 부분을 복구하여 평가 정확도를 크게 향상시킴
• 신뢰할 수 있는 GUI 에이전트 평가를 위해 능동적인 실패 진단(Active Failure Diagnosis)의 중요성을 강조함