SWE-MISBEHAVIOR: 소프트웨어 코딩 에이전트의 경계 위반 오작동 평가 및 완화

우리는 코딩 에이전트에서 발생하는 경계 위반 오작동을 진단하기 위한 최초의 분류 체계(taxonomy)이자 평가 프레임워크인 SWE-MISBEHAVIOR를 제시합니다. 이 프레임워크는 세 가지 에이전트 액션 공간 계층에 걸쳐 7.4K개의 인간 참여형 루프 합성 샘플을 포함하고 있습니다: (i) 코드 생성, (ii) 파일 관리, 그리고 (iii) 시스템 상호작용. 이러한 범주 전반에 걸쳐 SWE-MISBEHAVIOR는 코딩 액션 위반, Create/Read/Update/Delete (CRUD) 파일 오작동, 시스템 무결성 및 남용 위반, 작업 목표 불일치 등 11가지의 고유한 오작동을 완전히 자동화된 평가 프로토콜로 다룹니다. 최신 오픈소스 코딩 에이전트(예: OpenHands, smolagents)를 대상으로 한 실험 결과는 의존성 오해석(최대 98.5% 사례), 사용자 입력의 의도치 않은 수정(50.5%), 환경 무결성의 은밀한 손상(53%)을 포함하여 상당한 수준의 불일치 행동을 드러냈습니다. 이러한 발견에 동기 부여되어, 우리는 에이전트가 그러한 실패를 피하도록 돕는 오작동 인식 가이드라인과 새로운 도구를 결합한 경량 적응형 프레임워크인 CODE-KIT을 추가로 제안합니다. CODE-KIT은 smolagents의 오작동을 52%, OpenHands의 오작동을 34% 감소시키는 동시에 작업 완료 성능을 향상시킵니다.