ProductWebBench: 과제 완수를 넘어선 웹사이트 연속성 평가

요약

ProductWebBench는 프론트엔드 코딩 에이전트를 평가하는 새로운 벤치마크입니다. 단순히 목표 달성 여부를 넘어, 변경 후 웹사이트의 나머지 부분이 정상적으로 작동하는 '웹사이트 연속성'을 중점적으로 측정합니다. 이 벤치마크는 광범위한 과제와 결정론적 검사를 통해 시스템 전체의 회귀(regression)를 포착합니다.

핵심 포인트

• 단순 목표 완수보다 웹사이트 연속성을 평가하는 것이 핵심입니다.
• 320개의 변경 과제 및 80개의 장기 빌드 과제를 사용합니다.
• 빈 경로, 콘솔 오류 등 시스템의 회귀(regression)를 측정합니다.
• 실행된 모든 검사는 정확한 출처(provenance)를 가집니다.