Humanity's Last Exam의 정제된 1,000개 문항 버전에 대한 독립 평가 지표 HLE-Diamond leaderboard 출시

저희는 'Artificial Analysis Intelligence Index'의 v5 일부로, 정제된 1,000개 문항 버전인 'Humanity's Last Exam'에 대한 독립적인 평가 지표인 HLE-Diamond leaderboard를 출시했습니다.

HLE-Diamond는 연구 커뮤니티의 입력(input)을 받아 원래의 'Humanity's Last Exam' 데이터셋을 1년 동안 정리하고 정제한 후 @CAIS와 @scale_AI에 의해 공개되었습니다. 이 지표는 추론(reasoning)과 지식(knowledge) 간에 균등하게 분배된 1,000개의 폐쇄형 질문(closed-ended questions)으로 구성되어 있으며, 그중 272개에는 이미지가 포함되어 있습니다.

저희는 공식 HLE 시스템 프롬프트(system prompt)를 사용하여 모든 질문을 도구 없이 한 번씩 실행합니다. GPT-5.6 Luna (medium)가 공식 HLE 심사 프롬프트(judge prompt)를 이용해 각 답변을 참고 답변과 비교하여 채점하며, 정답으로 판정된 질문의 비율(pass@1)을 보고합니다.

주요 시사점:

➤ 오늘날 50% 이상 점수를 기록한 모델 변형(model variants)은 총 17개(~13%)에 불과합니다: Gemini 4 Carbon (high)이 69%로 선두를 차지했으며, Claude Opus 5.5 (max)가 68%로 그 뒤를 이었습니다.

➤ 모델은 지식(knowledge)보다 추론(reasoning)에서 더 높은 점수를 기록합니다: 저희가 측정한 모델의 90% 이상이 벤치마크의 추론 부분에서 더 나은 성능을 보였습니다. Gemini 4 Carbon (high)이 추론에서는 80%, 지식에서는 59%로 모두 선두를 차지했습니다. Claude Opus 5.5 (max)와 GPT-6 Astra (max)는 모두 추론에서 78%의 점수를 기록했으며, Opus 5.5가 지식(knowledge) 부문에서 50% 대비 58%로 앞섰습니다.

➤ 오픈 웨이트(open weights) 모델은 30점 이상 뒤처집니다: Kimi K3.1 Pro (웨이트 미공개)가 37%로 최고 성능의 오픈 웨이트 모델이며, MiniMax-M3.1-Flash가 28%, Kimi K3 (max)가 27%를 기록했습니다.