FeatureArc: 진화하는 기능을 활용한 코딩 에이전트 벤치마킹

요약

기존 코딩 에이전트 벤치마크는 기능의 진화 과정을 반영하지 못하는 한계가 있습니다. FeatureArc는 저장소 히스토리 기반으로 연속적인 코드 확장을 평가하는 새로운 벤치마크를 제시했습니다. 분석 결과, 초기 단계와 전체 기능을 완성했을 때 성능 저하가 크며, 에이전트들이 이전 오류를 수정하지 못하는 문제가 확인되었습니다.

핵심 포인트

• FeatureArc는 기능의 진화 과정을 반영한 새로운 코딩 에이전트 벤치마크입니다.
• 초기 성공률(62.7%) 대비 전체 기능을 완성했을 때 성공률은 크게 하락했습니다(28.5%).
• 가장 흔한 실패 원인은 '상속된 결함'이며, 이는 후반 단계에서 자주 발생합니다.
• 에이전트들은 이전 오류를 무시하는 경향이 강해 자율적 기능 진화에 어려움이 있습니다.