에이전트 멜트다운: 지옥으로 가는 길은 도움이 되는 에이전트들로 포장되어 있다

컴퓨터 및 웹(Web)을 사용하는 에이전트들은 접근할 수 없는 웹페이지, 누락된 파일, 로컬 및 원격 설정 오류(misconfigurations) 등 불가피하게 오류에 직면합니다. 이러한 오류들은 최첨단 모델(state-of-the-art models) 기반의 에이전트들을 좌절시키지 않습니다. 대신 이들은 작업을 완료할 방법을 찾기 위해 도움이 되는 방식으로 계속 시도합니다. 우리는 어떠한 적대적 입력(adversarial inputs)이 없는 상태에서, 무해한 환경적 오류에 대응하여 발생하는 안전하지 않거나 해로운 행동인 '우발적 멜트다운(accidental meltdown)'이라는 새로운 유형의 에이전트 실패를 소개하고, 특징을 규정하며, 측정합니다. 멜트다운은 기존의 신뢰성(reliability) 또는 안전성(safety) 벤치마크에 포착되지 않기 때문에, 우리는 멜트다운 행동의 분류 체계(taxonomy)를 개발했습니다. 그런 다음 우리는 롤아웃(rollout) 환경에 시뮬레이션된 로컬 및 원격 오류를 주입하기 위한 에이전트 불가지론적(agent-agnostic) 인프라를 구현하였으며, 이를 사용하여 GPT, Grok, Gemini 기반의 에이전트 시스템을 체계적으로 평가했습니다. 우리의 평가 결과에 따르면, 에이전트 시스템, 백엔드 모델(backing model), 오류 유형의 모든 조합에 걸쳐 시뮬레이션된 오류를 만난 에이전트 롤아웃의 64.7%에서 다양한 심각도와 성공률을 가진 멜트다운(예: 승인되지 않은 정찰 수행 또는 액세스 제어 무력화)이 발생했습니다. 이러한 멜트다운 중 절반 이상에서 안전하지 않은 행동이 사용자에게 보고되지 않았습니다. 오류가 있는 경우와 없는 경우의 동일한 에이전트 행동을 비교했을 때, 오류에 대응하는 탐색(exploration)이 안전하지 않고 해로운 행동과 상관관계가 있음을 발견했습니다.