코딩 에이전트가 검토 속도를 앞지를 때: 성숙한 엔터프라이즈 저장소에서의 PRD 기반 개발 평가

요약

본 글은 엔터프라이즈 환경의 복잡한 요구사항(PRD)을 충족하는 코딩 에이전트의 능력을 평가하기 위해 PACE 벤치마크를 소개합니다. 이 벤치마크는 요구사항 재구성, 기준 구축, 증거 기반 평가를 결합하여 실제 배포 과정에서의 부족한 부분을 측정합니다. 테스트 결과, GPT-5.6-Sol 모델이 가장 높은 완전 배포율을 보였으며, 개별 구성 요소 생성만으로는 전체 배포가 불완전할 수 있음을 시사합니다.

핵심 포인트

• PACE 벤치마크는 PRD 충족도와 배포 격차를 측정합니다.
• GPT-5.6-Sol 모델이 가장 높은 완전 배포율을 달성했습니다.
• 개별 구성 요소 생성만으로는 전체 시스템의 완성도를 보장하기 어렵습니다.
• 지속적인 하네스 개선은 에이전트 성능 향상에 기여합니다.