AgentHeal: 접근 장벽 하에서 웹 에이전트의 목표 보존적 리소스 복구 평가

요약

본 논문은 웹 에이전트가 데드 링크, 인증 장벽 등 비일시적 접근 장벽에 직면했을 때 목표를 유지하며 자원을 복구하는 능력을 평가하기 위해 AgentHeal이라는 종합 벤치마크를 소개합니다. 실험 결과, 이러한 접근 장벽 하에서 LLM 에이전트의 평균 작업 성공률은 89.4%에서 43.7%로 급격히 떨어지는 것으로 나타났습니다.

핵심 포인트

• AgentHeal은 목표 보존적 리소스 복구 능력을 평가하는 새로운 벤치마크입니다.
• 접근 장벽은 에이전트의 주요 실행 경로를 차단하여 성능 저하를 유발합니다.
• 에이전트는 유사품에 빠지거나 상황 보고가 어려운 경향을 보였습니다.
• 장벽 하에서 작업 성공률은 89.4%에서 43.7%로 급락하는 것이 확인되었습니다.