복구 에이전트는 자신의 실패 경험으로부터 무엇을 얻는가?: 실제 Python 버그에 대한 탐색적 연구

코딩 에이전트가 복구 작업을 실패했을 때, 그 실패 기록(스크립트, 자체 작성 학습 내용 또는 추출된 테스트 신호)과 함께 재시도되는 경우가 많습니다. 우리는 이러한 실패 기억이 재시도 과정에서 무엇을 변화시키는지 질문했습니다.

75개의 BugsInPy 버그에 대해, 우리는 gpt-5.4-mini의 실패한 시도 181건 각각을 다섯 가지 조건 하에서 재시도했으며, 사전 선언된 분석을 수행하고 그 편차를 보고했습니다. 두 개의 사전 선언적 후속 연구는 더 큰 gpt-5.4 모델을 사용하여 일반 재시도(plain-retry), 스크립트, 학습 내용 조건을 반복하고 '알림만' 제어군을 추가했습니다.

버그를 드러내는 테스트에서, 모든 기억 조건은 일반 재시도 대비 점수 추정치(point estimate)로 증가(+5.5점에서 +9.9점, 29.8% 향상)했지만, 통계적으로 유의미한 개선을 보인 것은 없었습니다.

다섯 가지 추가적인 발견이 두드러집니다. 첫째, 모델이 작성한 학습 내용은 요약하는 스크립트 대비 이점이 없었습니다(-1.7점, 95% CI [-8.7, +4.9]; gpt-5.4의 경우 -3.5점). 비록 추가적인 모델 호출 비용이 발생함에도 불구하고 그러했습니다.
둘째, 스크립트는 에이전트에게 실패했다고 알려주는 것 이상의 역할을 할 수 있습니다: 알림만으로는 유의미한 변화를 일으키지 않은 반면, gpt-5.4-mini의 경우 스크립트가 알림보다 12.2점 더 많은 실패를 해결했습니다 (CI [+4.2, +20.0], 156개 실패 부분 실행; 12개의 사전 선언적 대조군 중 유일하게 유의미한 결과였으며 gpt-5.4에서는 유의미하지 않았습니다).
셋째, 사후 분석(post hoc) 결과, 기억을 활용한 재시도 중 아무런 Python 파일을 수정하지 않고 끝난 경우가 더 많았으며, 수정이 필요한 파일에 접근한 편집 재시도의 비율은 거의 최고치에 달했습니다.
넷째, 사후 분석을 통한 전체 테스트 스위트(full-test-suite) 점검에서, 이전 시도의 테스트 결과도 확인했던 재시도는 참조 수정(reference fix)이 통과하는 다른 테스트에서도 실패하는 경향이 있어, 이들의 명백한 개선 효과를 감소시켰습니다.
다섯째, 결과는 조건 간의 차이보다 실패 사례(failure) 간에 훨씬 더 많이 변동했으며, 우리는 표본 크기가 확인 연구에서 필요할 것이라고 제시합니다.