SWE-bench 평가 중단 선언: 모델 성능 측정의 새로운 기준 제시

요약

OpenAI는 자율 소프트웨어 엔지니어링(autonomous software engineering) 능력을 측정하는 지표로 사용되던 SWE-bench Verified 평가를 더 이상 사용하지 않겠다고 발표했습니다. 주요 원인은 두 가지입니다. 첫째, 감사 결과 27.6%의 문제 중 59.4%가 기능적으로 올바른 제출을 거부하는 결함 있는 테스트 케이스를 포함하고 있습니다. 둘째, 최신 대규모 모델(frontier models)들이 학습 데이터셋에서 평가 문제를 접했을 가능성이 높아져, 성능 향상이 실제 능력 개선이 아닌 '학습 노출

핵심 포인트

• SWE-bench Verified는 초기부터 자율 소프트웨어 엔지니어링 측정 표준이었으나, 현재 모델 수준에서는 적합하지 않다고 판단됨.
• 감사 결과, SWE-bench Verified의 문제 중 59.4%가 기능적으로 올바른 해결책을 거부하는 결함 있는 테스트 케이스를 포함하고 있음이 밝혀짐.
• 최신 대규모 모델들은 평가 문제를 학습 데이터에서 접했을 가능성이 높아져, 성능 향상이 실제 능력 개선보다 '학습 노출'에 기인할 수 있음.
• OpenAI는 새로운 오염되지 않은(uncontaminated) 평가를 구축 중이며, 임시적으로 SWE-bench Pro 보고를 권장함.