Artificial Analysis 코딩 에이전트 인덱스를 업데이트하여 SWE-Bench Pro를 Datacurve의 DeepSWE 벤치마크로 교체했습니다. 이 변경은 Codex가 GPT-5.5 (xhigh)와 Claude Code가 Opus 4.8 (max)을 능가하게 만들었으며, 새로 출시된 Claude Fable 5 (max)는 Claude Code에서 최고 기록을 세웠습니다.

@datacurve가 구축한 DeepSWE는 공개 GitHub 이슈나 풀 리퀘스트를 적응시키는 대신 자체적으로 과제를 작성합니다. 따라서 어떤 모델도 훈련 중에 해결책을 본 적이 없습니다. 이것이 중요한 이유는, 저희 코딩 에이전트 인덱스에서 대체된 SWE-Bench Pro가 일부 모델들이 과제를 직접 해결하기보다는 저장소의 커밋 기록에서 수정 사항을 복구하는 등 '게임화'되어 왔기 때문입니다.

이번 교체로 인해 인덱스가 재정렬되었습니다: Codex with GPT-5.5 (xhigh)는 65에서 76으로 상승하여 Claude Code with Opus 4.8 (max)의 73을 추월했습니다. 새로 업데이트된 인덱스에 직접 진입한 Claude Code with Fable 5 (max)가 77로 선두를 차지했습니다. SWE-Bench Pro는 일부 조합에는 과분하고 다른 조합에는 불리하게 점수를 매겨왔습니다.

더 자세한 내용은 아래를 참고하세요.