Termination Lag: 코딩 에이전트가 문제를 일찍 해결하지만 종료하는 시점이 늦는 현상

요약

본 연구는 코딩 에이전트의 성능을 분석하며, 문제를 해결하는 시점과 실제 종료 시점 사이의 '종료 지연(termination lag)' 현상을 특성화했습니다. 성공적인 실행에서도 에이전트들이 올바른 패치 이후에도 과도한 노력을 지속하는 경향을 보이며, 이는 최종 솔루션을 잘못된 상태로 만들 위험을 초래할 수 있습니다.

핵심 포인트

• 에이전트는 초기 소스 코드 편집에서 높은 성공률(38~82%)로 솔루션을 달성함.
• 성공적인 경우에도 올바른 패치 이후 과도한 노력(post-solution steps)을 지속하는 경향이 있음.
• 추가 단계는 주로 작업 검증 및 리포지토리 탐색에 사용됨.
• 일부 사례에서는 이러한 활동이 이전의 올바른 패치를 되돌려 실패를 유발함 (1~8%).