FeatureLoop: 변화하는 요구사항 하의 코딩 에이전트 벤치마킹

요약

소프트웨어 개발 과정의 반복적이고 진화하는 요구사항을 포착하기 위해 'FeatureLoop'라는 새로운 코딩 에이전트 벤치마크가 소개되었습니다. 이 벤치마크는 지속적인 작업 공간에서 '진화 피드백'과 '완료 피드백'을 통해 개발 목표를 추적합니다. 평가 결과, 최신 모델들이 과제의 상당 부분을 완료했으나, 실패 후 수정 개입을 통한 복구율은 여전히 낮은 것으로 나타났습니다.

핵심 포인트

• FeatureLoop는 변화하는 요구사항에 초점을 맞춘 코딩 에이전트 벤치마크입니다.
• 개발 목표 추적을 위해 '진화 피드백'과 '완료 피드백'을 사용합니다.
• 최강 모델도 과제 완료율(72.1%)에 한계가 있으며, 복구율은 낮습니다.
• 불완전한 복구 및 퇴행 현상이 신뢰성 확보의 주요 장애물입니다.