Artificial Analysis 코딩 에이전트 인덱스 업데이트: SWE-Bench Pro를 Datacurve의 DeepSWE 벤치마크로

요약

코딩 에이전트 인덱스가 SWE-Bench Pro에서 Datacurve의 DeepSWE 벤치마크로 업데이트되었습니다. 이 변경은 모델들이 학습 데이터에 의존하는 '게임화' 문제를 해결하고, 실제 과제 수행 능력을 측정합니다. 그 결과, Claude Code with Fable 5 (max)가 새로운 인덱스에서 최고 기록을 달성하며 선두를 차지했습니다.

핵심 포인트

• 코딩 에이전트 벤치마크가 DeepSWE로 업데이트되어 신뢰성이 높아짐.
• DeepSWE는 자체 과제를 생성하여 모델의 학습 데이터 의존성을 제거함.
• Claude Code with Fable 5 (max)가 새로운 코딩 능력 인덱스에서 최고 성능을 기록함.