AI 모델 순위를 매기는 기준이 시험 점수에서 실제로 일을 끝냈느냐로 넘어가고 있다.

https://t.co/6CxOr5egF8가 공개한 새 리더보드 Agent Arena 얘기다. 여기선 정답 맞히기 시험이 아니라, 전 세계 사용자가 실제로 시킨 수백만 건의 장기 실무를 모델이 얼마나 완수했는지를 잰다. 웹검색과 파일시스템, 터미널까지 직접 쓰며 복잡한 워크플로를 끝까지 처리하는 능력, 그리고 그 결과를 사용자가 칭찬했는지 불평했는지를 인과추적으로 측정한다.

여기 Claude Sonnet 5(Thinking)가 6위로 데뷔했는데, 흥미로운 건 순위보다 강점의 종류다. 시험 성적이 아니라 실제 작업 완수, 칭찬 대 불평, 터미널 다루는 힘이 가장 센 신호로 잡혔다. 조종성은 아직 표본이 적어 편차가 크다는 단서도 함께 달렸다.

이게 뜻하는 바는 분명하다. 데모에서 그럴듯한 모델과 현장에서 진짜 일을 끝내는 모델이 이제 갈라지기 시작했다. 벤치마크 졸업장의 시대가 저물고, 실전 완주율이 곧 실력인 시대가 왔다.