SWE-Residual: 코딩 에이전트의 시작 상태 강건성 평가

요약

본 글은 코딩 에이전트의 실제 개발 환경에서의 성능을 측정하기 위한 새로운 벤치마크, SWE-Residual을 소개합니다. 기존 벤치마크가 깨끗한 시작 상태(clean state)만을 가정했던 것과 달리, SWE-Residual은 이전 작업으로 인해 수정된 '잔여 상태'에서 에이전트의 강건성을 평가합니다. 이를 통해 실제 개발 과정에서 발생하는 역량 격차를 노출시킵니다.

핵심 포인트

• SWE-Residual은 코딩 에이전트의 시작 상태 강건성(Starting-State Robustness)을 측정합니다.
• 실제 환경처럼 이전 작업으로 수정된 '잔여 상태'를 평가에 사용합니다.
• 기존 벤치마크 대비 성공률 하락 폭이 커서, 실제 역량 격차를 보여줍니다.
• 에이전트들이 상속받은 작업을 수행하려는 '수용 편향(acceptance bias)' 문제를 지적합니다.