Artificial Analysis Intelligence Index는 오늘날의 실제 사용 사례를 반영하여 다양한 작업에 걸친 모델 역량에 대한 종합 측정 지표입니다. v5는 v4가 지난 1월 출시된 이후 가장 큰 업그레이드 버전입니다. v5를 통해 인덱스의 60%가 이제 사설 테스트 세트 또는 보류된 답변을 사용한 평가를 기반으로 합니다.
Intelligence Index v5와 함께, 모델이 시간이 지남에 따라 하나의 연속적인 규모에서 역량을 추적하는 Artificial Analysis Progress Index v1도 출시합니다.
Intelligence Index의 신규 항목:
➤ FrontierCode 2.0: 실제 코딩 작업에 대한 Cognition의 새로 출시된 사설 벤치마크로, 에이전트의 변경 사항을 저장소 관리자가 병합할지 여부를 기준으로 평가됩니다.
➤ Terminal-Bench-Science: 터미널 환경에서 실행되는 70개의 에이전트 과학 연구 작업입니다.
업그레이드된 항목:
➤ HLE-Diamond (Humanity's Last Exam 대체): 추론 질문과 지식 질문에 균등하게 분배된 Humanity's Last Exam의 정제된 1,000개 문항 버전입니다.
➤ AA-Omniscience v1.1: 포화 상태 및 공개 세트 질문이 제거되고 새로운 질문이 추가되었으며 모호하거나 오류가 있는 질문이 수정된 업데이트된 데이터셋입니다.
➤ CritPt v2: CritPt v2의 사설 40개 문항 하드 서브셋으로, CritPt 저자들이 수정한 버전이며 코드 실행 도구와 함께 실행됩니다.
인덱스에 유지되는 항목: AA-Briefcase, AutomationBench-AA, GDP.pdf 및 Terminal-Bench 4.0
인덱스에서 제거된 항목: GDPval-AA v2.1, SciCode, 그리고 AA-LCR v1.1
주요 결과:
➤ Claude Opus 5.5 (최대)가 58점으로 선두를 차지하며, GPT-6 Astra (최대, 57점)와 GPT-6.1 Sol (최대, 55점)을 앞섰습니다: Anthropic과 OpenAI가 상위 다섯 개 모델을 점유하고 있습니다. Gemini 4 Argon (높음)이 50점으로 그 뒤를 이었습니다.
➤ 오픈 웨이트(open weights) 격차가 3점에서 12점으로 확대되었습니다: Kimi K3.1 Pro (가중치 미공개)가 46점으로 최고의 오픈 웨이트 모델입니다. 공개된 가중치 중에서는 DeepSeek V4.1 Flash 1017 (max)와 GLM-5.3 (max)가 각각 32점과 26점으로 선두 모델보다 뒤처지며 Claude Haiku 5.5 (max, 36점)보다 낮은 점수를 기록했습니다.
➤ 최고 성능의 모델들 간 작업당 비용 차이가 13배 이상 납니다: 제시된 상위 10개 모델 중에서는 GPT-6.1 Terra (max)가 인텔리전스 인덱스(Intelligence Index) 작업당 가장 저렴한 $0.96을 기록했으며, Claude Fable 5.1 (max)가 가장 비싼 $13.04를 기록했습니다.
